zoukankan      html  css  js  c++  java
  • [MySQL] 分库分表需要考虑的问题

    随着业务的增长,一般的公司都会经历一个从单库单表到分库分表的过程 , 需要考虑以下要素判断是否开始分库分表

    1. 如果mysql单库的QPS超过1000就要考虑分库了 , 一般根据业务进行分库

    目前新浪邮箱的主库是sinanet  各种辅助库 userservice客服系统  sinastore 文件存储库 entsales 销售系统库

    2. 单表的数据量非常大时 , 需要考虑分表 , 超过1000万就要考虑了 , 因为此时b+树索引的高度是3-5左右

     如果有单字段特别大 , 就要把该字段独立出来 ,这就是垂直分表 , 遵循冷热拆分 , 大小拆分

    这里基本在设计的时候就已经考虑好了 , 一般不会出现这种情况

    如果是数据量特别大 , 就要结合业务需求和产品特性 , 选择合适的拆分算法

    如何切分?
    a:哈希取模算法 hash(id)/NUM,
    本表的id是数据库auto_incr id,hash拆分后数据分散是特别均匀的,但是后面的NUM设置没有经验值,只能依靠人工来计算; max_row/day_incr= year ,保证能扛住近四年的数据增量。
    考虑到后续扩展表的数据时,数据迁移会比较难做。

    新浪邮箱的用户表是根据默认域邮箱hash取模进行的拆分


    b:一致性hash算法
    为了保证后续迁移数据影响面较小,建议使用一致性hash算法。

    新浪邮箱的订单表是根据一致性hash算法根据 , 不同值的范围大小选择存储表节点


    c:range(timestamp)
    具有天然的时间字段,非常好拆分,具有很好的扩展性。
    目前查询都是带时间戳的,所以会出现表的访问冷热不均。但同时也避免了跨节点join等问题

    新浪邮箱用户的日志表是根据月份加哈希拆分了 1024张表

     如何迁移数据?

    这是不可避免的问题,可以采用了实时数据双写,历史数据采用脚本导入的方式,在线上数据对齐后,慢慢将流量灌到新的db上。

  • 相关阅读:
    DOCK-SWARM
    springMVC上传和下载文件
    生成任意内容任意类型的文件
    配置监听(系统启动和关闭时运行的程序)
    配置过滤器
    读取文件内容(TXT之类的文件)
    读取properties文件中的内容
    时间戳转时间字符串和时间
    启动Service的时候报错unable to install breakpoint in
    java后台调用接口并获取返回值
  • 原文地址:https://www.cnblogs.com/taoshihan/p/14116232.html
Copyright © 2011-2022 走看看