zoukankan      html  css  js  c++  java
  • 分库

    分库解决方案—实际操作

    目录

    • 流程图
    • 数据库设计
    • 测试数据说明
    • 问题以及难点

    一、流程图

    说明:

      1、 信息数据汇总后,有处理程序处理,根据算法,分发到算法指定的数据库服务器上的索引库,直到存到对应索引库下面的数据存储表。

      2、每个地域也就是国家,下面可以有多台数据服务器,但是此地域(国家)下面的索引库不能重复。因为这样方便后续数据查询。

      3、当有数据到达索引库后,需要存储数据的情况下。默认情况下,索引库下没有存储表。此时程序会创建第一个存储表。当数据达到我们规定此存            储表的存储上限时,就会创建第二个存储表,后续的数据,就会存到第二个存储表中。以此类推。

    二、数据库设计

      1、数据库服务器配置表:DBServer                

                 [ID] : 主键

               [DBTypeID]:数据库类型ID(例如:国内1=D1、国内2=D2、国外1=H1)

               [ServerIP]  :数据库服务器IP

                 [UID] :用户名

               [Pwd]:密码

               [Remark]:备注说明

               [MaxDataDBCount] :最多可以创建多少个数据存储表

               [Sequence]:排序

       问题:

          为什么要有 [MaxDataDBCount] 字段? —— 限制数据存储表的创建,因为每台服务器的性能不一样。要求也不一样。

          为什么要有 [Sequence]字段? —— 调整数据库先后顺序,方便数据插入

          [DBTypeID]与[ServerIP]的关系 —— 这里的数据库类型我们可以比作是区域,一个区域可以分布多台数据库。

       2、索引数据库配置表:IndexServerConfig

                  [ID]:主键

                  [DBTypeID]:数据库类型ID(例如:国内1=D1、国内2=D2、国外1=H1)

                  [IndexDBNo]:索引库编号

                  [ServerID]:当前索引库所在的数据库服务器ID

                  [HashValues]:数据根据算法生成的HashValues(0~255)

                  [CurrentDataDBNo]:当前索引库对应的数据存储表编号

                  [MaxDataCount]:对应的当前数据存储表的最大数据存储量

        说明:

          1、[HashValues]:就是我们根据数据特性和定义的相关算法生成的对应的值,此处的[HashValues]是这些值得集合。

          2、 [IndexDBNo]与 [HashValues]的对应关系

            例如:

                IndexDBNo     HashValues

                   1               0,1,2,3,4,5,6,7

                   2      11,12,13

                   5      221,222,223,224,225 

           3、如上流程图所示,每个地域国家[DBTypeID]可以对应多台数据库服务器,但是地域下面的索引 [IndexDBNo]与【HashValues】一一对应不能重复。

       3、存储信息数据库配置:DataServerConfig

                  [ID]:主键

                    [DBTypeID]:数据库类型ID(例如:国内1=D1、国内2=D2、国外1=H1) 

                  [DataDBNo]:数据存储表编号

                  [IndexDBNo]:索引库编号

                  [ServerID]:服务器编号

                  [MaxDataCount]:当前数据存储表自定义的最大存储量

    三、测试流程

     数据库服务器配置表:DBServer

    索引数据库配置表:IndexServerConfig

    存储信息数据库配置:DataServerConfig

    一条信息数据过来后,通过算法转换成HashValue=2,此信息是国家地域编号 DBTypeID=1的数据。

    根据 HashValue=2 和  DBTypeID=1 ,我们到 索引数据库配置表:IndexServerConfig中找到相关索引数据

    我们看到上图中的第一条数据符合我们的标准,它所对应的数据库服务器编号IndexDBNo=1,ServerID=11

    这样我们就可以根据 DBTypeID=1   和  ServerID=11 和 IndexDBNo=1。找到具体什么地域下的哪台数据库中的索引库下的数据存储表。

    总结:

    数据存储

    数据查询:

    四、问题难点——后续补充

     
    分类: SQL项目积累
  • 相关阅读:
    【JVM】模板解释器--如何根据字节码生成汇编码?
    你会swap吗,按值传递还是按引用?
    你了解实时计算吗?
    Hadoop的Server及其线程模型分析
    机会
    storm如何分配任务和负载均衡?
    storm基础框架分析
    storm如何保证at least once语义?
    学习笔记:The Log(我所读过的最好的一篇分布式技术文章)
    学习笔记:Twitter核心数据类库团队的Hadoop优化经验
  • 原文地址:https://www.cnblogs.com/Leo_wl/p/4209515.html
Copyright © 2011-2022 走看看