zoukankan      html  css  js  c++  java
  • Sql 2005 千万级数据库IO规划

          近日接手一个项目,对客服工作日志进行分析。数据量比较庞大,平均每月主表产生500W记录,
    从表5000W。现在规划主、从表按月来分表,每个月产生一张以yyMM为名的表。因为目前看来,
    分不同的表的粒度最小也只能以月为单位。考虑单月从表的数据量也特别巨大,结合sql2005的特点,
    考虑对从表进行分区表操作。硬件情况是:Nehalem-EP双路,SAS 300G*4 (RAID 5)。目前对
    如何划分文件组,每组文件数目举棋不定。

        按照一般的规律,在不做分区表的情况下,最好按CPU的逻辑核心数设置文件组中文件数目,
    具体到本项目,应该(假设主、从表共用一个文件组BigGroup)在BigGroup设置8个文件,
    正好和CPU核心数对应,能很好的并发执行I/O操作。
          如果采用分区表方案,假设从表按200W记录一个分区,就有25个分区。因为分区表必须
    对应文件组,也就是有25个文件组。结合不做分区表时,并行I/O的思路,应该产生25*8=200
    个文件。但是,感觉这样不妥。
       1:可能会产生IO瓶颈,当对当月的从表数据分组统计时,会同时访问200个文件。
       2:文件过多,管理维护难度增加。
    目前思路比较混乱,暂放首页,请有相关经验的前辈指教一下。望dudu见谅!

  • 相关阅读:
    解决Cannot delete or update a parent row: a foreign key constraint fails的mysql报错
    zabbix4.2绘制网络拓扑图-添加链路速率
    zabbix 添加宏变量
    238_Product of Array Except Self
    122_Best Time to Buy and Sell Stock II
    260_Single Number III
    C# 比较时间问题
    226_Invert Binary Tree
    100_Same Tree
    283_Move Zeroes
  • 原文地址:https://www.cnblogs.com/Alvin/p/1493742.html
Copyright © 2011-2022 走看看