zoukankan      html  css  js  c++  java
  • Sql 2005 千万级数据库IO规划

          近日接手一个项目,对客服工作日志进行分析。数据量比较庞大,平均每月主表产生500W记录,
    从表5000W。现在规划主、从表按月来分表,每个月产生一张以yyMM为名的表。因为目前看来,
    分不同的表的粒度最小也只能以月为单位。考虑单月从表的数据量也特别巨大,结合sql2005的特点,
    考虑对从表进行分区表操作。硬件情况是:Nehalem-EP双路,SAS 300G*4 (RAID 5)。目前对
    如何划分文件组,每组文件数目举棋不定。

        按照一般的规律,在不做分区表的情况下,最好按CPU的逻辑核心数设置文件组中文件数目,
    具体到本项目,应该(假设主、从表共用一个文件组BigGroup)在BigGroup设置8个文件,
    正好和CPU核心数对应,能很好的并发执行I/O操作。
          如果采用分区表方案,假设从表按200W记录一个分区,就有25个分区。因为分区表必须
    对应文件组,也就是有25个文件组。结合不做分区表时,并行I/O的思路,应该产生25*8=200
    个文件。但是,感觉这样不妥。
       1:可能会产生IO瓶颈,当对当月的从表数据分组统计时,会同时访问200个文件。
       2:文件过多,管理维护难度增加。
    目前思路比较混乱,暂放首页,请有相关经验的前辈指教一下。望dudu见谅!

  • 相关阅读:
    上海汉得面试:
    二叉树的遍历
    操作系统知识总结
    mysql单表查询&&多表查询(职员表14+9)
    数据库查询
    数据库设计三大范式及事务
    某硕笔试题mysql数据库部分(较为全面)
    java 读取excel 将数据插入到数据库
    java 读取excel 正常 xls
    java 读取excel(Map结构)xls
  • 原文地址:https://www.cnblogs.com/Alvin/p/1493742.html
Copyright © 2011-2022 走看看