zoukankan      html  css  js  c++  java
  • Sql 2005 千万级数据库IO规划

          近日接手一个项目,对客服工作日志进行分析。数据量比较庞大,平均每月主表产生500W记录,
    从表5000W。现在规划主、从表按月来分表,每个月产生一张以yyMM为名的表。因为目前看来,
    分不同的表的粒度最小也只能以月为单位。考虑单月从表的数据量也特别巨大,结合sql2005的特点,
    考虑对从表进行分区表操作。硬件情况是:Nehalem-EP双路,SAS 300G*4 (RAID 5)。目前对
    如何划分文件组,每组文件数目举棋不定。

        按照一般的规律,在不做分区表的情况下,最好按CPU的逻辑核心数设置文件组中文件数目,
    具体到本项目,应该(假设主、从表共用一个文件组BigGroup)在BigGroup设置8个文件,
    正好和CPU核心数对应,能很好的并发执行I/O操作。
          如果采用分区表方案,假设从表按200W记录一个分区,就有25个分区。因为分区表必须
    对应文件组,也就是有25个文件组。结合不做分区表时,并行I/O的思路,应该产生25*8=200
    个文件。但是,感觉这样不妥。
       1:可能会产生IO瓶颈,当对当月的从表数据分组统计时,会同时访问200个文件。
       2:文件过多,管理维护难度增加。
    目前思路比较混乱,暂放首页,请有相关经验的前辈指教一下。望dudu见谅!

  • 相关阅读:
    RedisTemplate实现事物问题剖析和解决
    PO BO VO DTO POJO DAO概念及其作用(附转换图)
    Java 应用程序设计规范
    Java web url 规范
    Java 中 Map与JavaBean实体类之间的相互转化
    使用Java 8中的Stream
    [转]http://lua-users.org/wiki/LpegTutorial
    [转]LUA元表
    LPEG
    [转]LUA 学习笔记
  • 原文地址:https://www.cnblogs.com/Alvin/p/1493742.html
Copyright © 2011-2022 走看看