zoukankan      html  css  js  c++  java

  • MYSQL分表与分区

    什么是分表分区
    分表分区的区别
    实现方式上
    数据处理上
    提高性能上
    实现的难易度上
    mysql分表和分区的联系
    如何分区
    概述
    分区技术支持
    分区类型及举例
    注意
    应用场景示例
    订单表比预想中扩张速度快
    坑爹的日志表
    每半月一个分区，自动维护
    备注
    RDS for MySQL 对表分区的限制
    RDS是否需要自己做分表、读写分离
    RDS MySQL的单表尺寸限制

    数据架构之分库分表分区的正确理解
    PS：分库能够突破单机瓶颈

    什么是分表分区

    分表
    分表是将一个大表按照一定的规则分解成多张具有独立存储空间的实体表，我们可以称为子表，每个表都对应三个文件，MYD数据文件，.MYI索引文件，.frm表结构文件。这些子表可以分布在同一块磁盘上，也可以在不同的机器上。
    分区
    分区和分表相似，都是按照规则分解表。不同在于分表将大表分解为若干个独立的实体表，而分区是将数据分段划分在多个位置存放（但是数据表还是同一个），可以是同一块磁盘也可以在不同的机器。
    mysql可以通过下面语句判断是否支持分区：

    SHOW VARIABLES LIKE '%partition%';
    如果输出：
    have_partitioning YES
    表示支持分区。
    或者通过：
    SHOW PLUGINS;
    显示所有插件，如果有partition ACTIVE STORAGE ENGINE GPL 插件则表明支持分区

    查看表是否为分区表：
    show table status like 'table_name';
    Create_options: partitioned
    查看分区信息：
    select * from information_schema.partitions where table_schema=schema() and table_name = '表名';

    为什么要进行表分区
    为了改善大型表以及具有各种访问模式的表的可伸缩性，可管理性和提高数据库效率。
    分区的一些优点包括：

    1. 与单个磁盘或文件系统分区相比，可以存储更多的数据。
    2. 对于那些已经失去保存意义的数据，通常可以通过删除与那些数据有关的分区，很容易地删除那些数据。相反地，在某些情况下，添加新数据的过程又可以通过为那些新数据专门增加一个新的分区，来很方便地实现。通常和分区有关的其他优点包括下面列出的这些。MySQL分区中的这些功能目前还没有实现，但是在我们的优先级列表中，具有高的优先级；我们希望在5.1的生产版本中，能包括这些功能。
    3. 一些查询可以得到极大的优化，这主要是借助于满足一个给定WHERE语句的数据可以只保存在一个或多个分区内，这样在查找时就不用查找其他剩余的分区。因为分区可以在创建了分区表后进行修改，所以在第一次配置分区方案时还不曾这么做时，可以重新组织数据，来提高那些常用查询的效率。
    4. 涉及到例如SUM()和COUNT()这样聚合函数的查询，可以很容易地进行并行处理。这种查询的一个简单例子如 “SELECT salesperson_id, COUNT (orders) as order_total FROM sales GROUP BY salesperson_id；”。通过“并行”，这意味着该查询可以在每个分区上同时进行，最终结果只需通过总计所有分区得到的结果。
    5. 通过跨多个磁盘来分散数据查询，来获得更大的查询吞吐量。

    分表分区的区别

    实现方式上

    分表
    mysql的分表是真正的分表，一张表分成很多表后，每一个小表都是完正的一张表，都对应三个文件，一个.MYD数据文件，.MYI索引文件，.frm表结构文件。 

    1. [root@BlackGhost test]# ls |grep user   
    2.     alluser.MRG   
    3.     alluser.frm   
    4.     user1.MYD   
    5.     user1.MYI   
    6.     user1.frm   
    7.     user2.MYD   
    8.     user2.MYI   
    9.     user2.frm

    简单说明一下，上面的分表呢是利用了merge存储引擎（分表的一种），alluser是总表，下面有二个分表，user1，user2。他们二个都是独立的表，取数据的时候，我们可以通过总表来取。这里总表是没有.MYD,.MYI这二个文件的，也就是说，总表他不是一张表，没有数据，数据都放在分表里面。我们来看看.MRG到底是什么东西 

    1. [root@BlackGhost test]# cat alluser.MRG |more   
    2.   user1   
    3.   user2   
    4.   #INSERT_METHOD=LAST

    从上面我们可以看出，alluser.MRG里面就存了一些分表的关系，以及插入数据的方式。可以把总表理解成一个外壳，或者是联接池。

    分区
    一张大表进行分区后，他还是一张表，不会变成二张表，但是他存放数据的区块变多了。

    1. [root@BlackGhost test]# ls |grep aa   
    2. aa#P#p1.MYD   
    3. aa#P#p1.MYI   
    4. aa#P#p3.MYD   
    5. aa#P#p3.MYI   
    6. aa.frm   
    7. aa.par

    从上面我们可以看出，aa这张表，分为二个区，p1和p3，本来是三个区，被我删了一个区。我们都知道一张表对应三个文件.MYD,.MYI,.frm。分区呢根据一定的规则把数据文件和索引文件进行了分割，还多出了一个.par文件，打开.par文件后你可以看出他记录了，这张表的分区信息，根分表中的.MRG有点像。分区后，还是一张，而不是多张表。

    数据处理上

    分表
    分表后，数据都是存放在分表里，总表只是一个外壳，存取数据发生在一个一个的分表里面。看下面的例子：
    select * from alluser where id='12'表面上看，是对表alluser进行操作的，其实不是的。是对alluser里面的分表进行了操作。
    分区
    分区只不过把存放数据的文件分成了许多小块，分区后的表呢，还是一张表。数据处理还是由自己来完成。

    提高性能上

    分表
    分表后，单表的并发能力提高了，磁盘I/O性能也提高了。并发能力为什么提高了呢，因为查寻一次所花的时间变短了，如果出现高并发的话，总表可以根据不同的查询，将并发压力分到不同的小表里面。磁盘I/O性能怎么搞高了呢，本来一个非常大的.MYD文件现在也分摊到各个小表的.MYD中去了。
    分区
    mysql提出了分区的概念，我觉得就想突破磁盘I/O瓶颈，想提高磁盘的读写能力，来增加mysql性能。
    在这一点上，分区和分表的测重点不同，分表重点是存取数据时，如何提高mysql并发能力上；而分区呢，如何突破磁盘的读写能力，从而达到提高mysql性能的目的。

    实现的难易度上

    分表
    分表的方法有很多，用merge来分表，是最简单的一种方式。这种方式根分区难易度差不多，并且对程序代码来说可以做到透明的。如果是用其他分表方式就比分区麻烦了。
    分区
    分区实现是比较简单的，建立分区表，根建平常的表没什么区别，并且对开代码端来说是透明的。

    mysql分表和分区的联系

    1. 都能提高mysql的性高，在高并发状态下都有一个良好的表现。
    2. 分表和分区不矛盾，可以相互配合的，对于那些大访问量，并且表数据比较多的表，我们可以采取分表和分区结合的方式（如果merge这种分表方式，不能和分区配合的话，可以用其他的分表试），访问量不大，但是表数据很多的表，我们可以采取分区的方式等。
    3. 分表技术是比较麻烦的，需要手动去创建子表，app服务端读写时候需要计算子表名。采用merge好一些，但也要创建子表和配置子表间的union关系。
    4. 表分区相对于分表，操作方便，不需要创建子表。

    如何分区

    MySQL 分区技术（是mysql 5.1以版本后开始用->是甲骨文mysql技术团队维护人员以插件形式插入到mysql里面的技术）

    概述

    数据库单表到达一定量后，性能会有衰减，像mysqlsql server等犹为明显，所以需要把这些数据进行分区处理。同时有时候可能出现数据剥离什么的，分区表就更有用处了！
    MySQL 5.1 中新增的分区(Partition)功能就开始增加，优势也越来越明显了：

    1. 与单个磁盘或文件系统分区相比，可以存储更多的数据
    2. 很容易就能删除不用或者过时的数据
    3. 一些查询可以得到极大的优化
    4. 涉及到 SUM()/COUNT() 等聚合函数时，可以并行进行
    5. IO吞吐量更大
    6. 分区允许可以设置为任意大小的规则，跨文件系统分配单个表的多个部分。实际上，表的不同部分在不同的位置被存储为单独的表。

    分区技术支持

    在5.6之前，使用这个参数查看当将配置是否支持分区：

    1. mysql> SHOW VARIABLES LIKE '%partition%';
    2. +-----------------------+-------+
    3. |Variable_name     | Value |
    4. +-----------------------+-------+
    5. | have_partition_engine | YES  |
    6. +-----------------------+-------+

    如果是yes表示你当前的配置支持分区。 在5.6及以采用后，则采用如下方式进行查看：

    1. mysql> SHOW PLUGINS;
    2. +----------------------------+----------+--------------------+---------+---------+
    3. | Name            | Status  | Type        | Library | License |
    4. +----------------------------+----------+--------------------+---------+---------+
    5. | binlog           | ACTIVE  | STORAGE ENGINE   | NULL  | GPL   |
    6. | mysql_native_password   | ACTIVE  | AUTHENTICATION   | NULL  | GPL   |
    7. ..................................................................................
    8. | INNODB_LOCKS        | ACTIVE  | INFORMATION SCHEMA | NULL  | GPL   |
    9. | INNODB_LOCK_WAITS     | ACTIVE  | INFORMATION SCHEMA | NULL  | GPL   |
    10. | partition         | ACTIVE  | STORAGE ENGINE   | NULL  | GPL   |
    11. +----------------------------+----------+--------------------+---------+---------+

    42 rows in set (0.00 sec) 最后一行，可以看到partition是ACTIVE的，表示支持分区。

    分区类型及举例

    RANGE 分区
    基于属于一个给定连续区间的列值，把多行分配给分区。如时间，连续的常量值等 –按年分区

    1. CREATE TABLE users (  
    2.        uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,  
    3.        name VARCHAR(30) NOT NULL DEFAULT '',  
    4.        email VARCHAR(30) NOT NULL DEFAULT ''  
    5. )  
    6. PARTITION BY RANGE (uid) (  
    7.        PARTITION p0 VALUES LESS THAN (3000000)  
    8.        DATA DIRECTORY = '/data0/data'  
    9.        INDEX DIRECTORY = '/data1/idx',  
    11.        PARTITION p1 VALUES LESS THAN (6000000)  
    12.        DATA DIRECTORY = '/data2/data'  
    13.        INDEX DIRECTORY = '/data3/idx',  
    15.        PARTITION p2 VALUES LESS THAN (9000000)  
    16.        DATA DIRECTORY = '/data4/data'  
    17.        INDEX DIRECTORY = '/data5/idx',  
    19.        PARTITION p3 VALUES LESS THAN MAXVALUE     DATA DIRECTORY = '/data6/data'   
    20.        INDEX DIRECTORY = '/data7/idx'  
    21. );

    在这里，将用户表分成4个分区，以每300万条记录为界限，每个分区都有自己独立的数据、索引文件的存放目录，与此同时，这些目录所在的物理磁盘分区可能也都是完全独立的，可以提高磁盘IO吞吐量。
    LIST 分区
    类似于按RANGE分区，区别在于LIST分区是基于列值匹配一个离散值集合中的某个值来进行选择。比如说类似性别(1,2)等属性值。

    1. CREATE TABLE category (  
    2.      cid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,  
    3.      name VARCHAR(30) NOT NULL DEFAULT ''  
    4. )  
    5. PARTITION BY LIST (cid) (  
    6.      PARTITION p0 VALUES IN (0,4,8,12)  
    7.      DATA DIRECTORY = '/data0/data'   
    8.      INDEX DIRECTORY = '/data1/idx',  
    10.      PARTITION p1 VALUES IN (1,5,9,13)  
    11.      DATA DIRECTORY = '/data2/data'  
    12.      INDEX DIRECTORY = '/data3/idx',  
    14.      PARTITION p2 VALUES IN (2,6,10,14)  
    15.      DATA DIRECTORY = '/data4/data'  
    16.      INDEX DIRECTORY = '/data5/idx',  
    18.      PARTITION p3 VALUES IN (3,7,11,15)  
    19.      DATA DIRECTORY = '/data6/data'  
    20.      INDEX DIRECTORY = '/data7/idx'  
    21. );

    分成4个区，数据文件和索引文件单独存放。注意，list只能是数字，使用字符会报错ERROR 1697 (HY000): VALUES value for partition 'c1' must have type INT。
    HASH分区
    基于用户定义的表达式的返回值来进行选择的分区，该表达式使用将要插入到表中的这些行的列值进行计算。这个函数可以包>含MySQL中有效的、产生非负整数值的任何表达式。
    –以int字段hash分区

    1. CREATE TABLE users (  
    2.      uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,  
    3.      name VARCHAR(30) NOT NULL DEFAULT '',  
    4.      email VARCHAR(30) NOT NULL DEFAULT ''  
    5. )  
    6. PARTITION BY HASH (uid) PARTITIONS 4 (  
    7.      PARTITION p0  
    8.      DATA DIRECTORY = '/data0/data'  
    9.      INDEX DIRECTORY = '/data1/idx',  
    11.      PARTITION p1  
    12.      DATA DIRECTORY = '/data2/data'  
    13.      INDEX DIRECTORY = '/data3/idx',  
    15.      PARTITION p2  
    16.      DATA DIRECTORY = '/data4/data'  
    17.      INDEX DIRECTORY = '/data5/idx',  
    19.      PARTITION p3  
    20.      DATA DIRECTORY = '/data6/data'  
    21.      INDEX DIRECTORY = '/data7/idx'  
    22. );

    分成4个区，数据文件和索引文件单独存放。
    KEY分区
    与HASH分区类似，但它的key可以不是整数类型，如字符串等类型的字段。MySQL 簇（Cluster）使用函数MD5()来实现KEY分区；对于使用其他存储引擎的表，服务器使用其自己内部的哈希函数，这些函数是基于与PASSWORD()一样的运算法则。

    1. CREATE TABLE users (  
    2.      uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,  
    3.      name VARCHAR(30) NOT NULL DEFAULT '',  
    4.      email VARCHAR(30) NOT NULL DEFAULT ''  
    5. )  
    6. PARTITION BY KEY (uid) PARTITIONS 4 (  
    7.      PARTITION p0  
    8.      DATA DIRECTORY = '/data0/data'  
    9.      INDEX DIRECTORY = '/data1/idx',  
    11.      PARTITION p1  
    12.      DATA DIRECTORY = '/data2/data'   
    13.      INDEX DIRECTORY = '/data3/idx',  
    15.      PARTITION p2   
    16.      DATA DIRECTORY = '/data4/data'  
    17.      INDEX DIRECTORY = '/data5/idx',  
    19.      PARTITION p3   
    20.      DATA DIRECTORY = '/data6/data'  
    21.      INDEX DIRECTORY = '/data7/idx'  
    22. );

    分成4个区，数据文件和索引文件单独存放。
    子分区
    子分区是针对 RANGE/LIST 类型的分区表中每个分区的再次分割。再次分割可以是 HASH/KEY 等类型。例如：

    1. CREATE TABLE users (  
    2.      uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,  
    3.      name VARCHAR(30) NOT NULL DEFAULT '',  
    4.      email VARCHAR(30) NOT NULL DEFAULT ''  
    5. )  
    6. PARTITION BY RANGE (uid) SUBPARTITION BY HASH (uid % 4) SUBPARTITIONS 2(  
    7.      PARTITION p0 VALUES LESS THAN (3000000)  
    8.      DATA DIRECTORY = '/data0/data'  
    9.      INDEX DIRECTORY = '/data1/idx',  
    11.      PARTITION p1 VALUES LESS THAN (6000000)  
    12.      DATA DIRECTORY = '/data2/data'  
    13.      INDEX DIRECTORY = '/data3/idx'  
    14. );

    对 RANGE 分区再次进行子分区划分，子分区采用 HASH 类型。
    或者

    1. CREATE TABLE users (  
    2.      uid INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,  
    3.      name VARCHAR(30) NOT NULL DEFAULT '',  
    4.      email VARCHAR(30) NOT NULL DEFAULT ''  
    5. )  
    6. PARTITION BY RANGE (uid) SUBPARTITION BY KEY(uid) SUBPARTITIONS 2(  
    7.      PARTITION p0 VALUES LESS THAN (3000000)  
    8.      DATA DIRECTORY = '/data0/data'  
    9.      INDEX DIRECTORY = '/data1/idx',  
    11.      PARTITION p1 VALUES LESS THAN (6000000)  
    12.      DATA DIRECTORY = '/data2/data'  
    13.      INDEX DIRECTORY = '/data3/idx'  
    14. );

    对 RANGE 分区再次进行子分区划分，子分区采用 KEY 类型。
    维护命令
    现有表分区（经测试，阿里云RDS 1500W现有数据表进行分区，执行10-15分钟）

    1. alter table 33
    2.   -> partition by hash(id)
    3.   -> partitions 2;
    4. alter table '33'
    5. partition by  hash(id)
    6. partitions 2;

    添加分区

    1. alter table xxxxxxx add partition (partition p0 values less than(1991));  //只能添加大于分区键的分区

    查看分区情况

    1. select * from information_schema.partitions where table_schema=schema() and table_name = '表名';

    删除分区

    1. alter table xxxxxxx drop partition p0; //可以删除任意分区

    删除分区数据

    1. alter table xxxxxx  truncate partition p1,p2; 
    2. alter table xxxxxx  truncate partition all; 
    3. 或 
    4. delete from xxxxxx where separated < '2006-01-01' or (separated >= '2006-01-01' and separated<'2011-01-01');

    重定义分区（包括重命名分区，伴随移动数据；合并分区)

    1. alter table xxxxx reorganize partition p1,p3,p4 into (partition pm1 values less than(2006), 
    2. partition pm2 values less than(2011));

    rebuild重建分区

    1. alter  table xxxxxx rebuild partition pm1/all; //相当于drop所有记录，然后再reinsert；可以解决磁盘碎片

    优化表

    1. alter  table tt2 optimize partition pm1; //在大量delete表数据后，可以回收空间和碎片整理。但在5.5.30后支持。在5.5.30之前可以通过recreate+analyze来替代，如果用rebuild+analyze速度慢

    analzye表

    1. alter  table xxxxxx analyze partition pm1/all;

    check表

    1. alter  table xxxxxx check partition pm1/all; 
    1. show create table employees2;  //查看分区表的定义 
    2. show table status like 'employees2'G;    //查看表时候是分区表 如“Create_options: partitioned” 
    3. select * from information_schema.KEY_COLUMN_USAGE where table_name='employees2';   //查看索引 
    4. SELECT * FROM information_schema.partitions WHERE table_name='employees2'   //查看分区表 
    5. explain partitions select * from employees2 where separated < '1990-01-01' or separated > '2016-01-01';   //查看分区是否被select使用

    其它说明
    mysql-5.5开始支持COLUMNS分区，可视为RANGE和LIST分区的进化，COLUMNS分区可以直接使用非整形数据进行分区。COLUMNS分区支持以下数据类型： 所有整形，如INT SMALLINT TINYINT BIGINT。FLOAT和DECIMAL则不支持。 日期类型，如DATE和DATETIME。其余日期类型不支持。 字符串类型，如CHAR、VARCHAR、BINARY和VARBINARY。BLOB和TEXT类型不支持。 COLUMNS可以使用多个列进行分区。

    1. mysql> create table range_p( 
    2.   -> perid int(11), 
    3.   -> pername char(12) not null, 
    4.   -> monsalary DECIMAL(10,2),
    5.   -> credate datetime 
    6.   -> ) PARTITION BY RANGE COLUMNS (credate)( 
    7.   -> partition p20151 values less than ('2015-04-01'), 
    8.   -> partition p20152 values less than ('2015-07-01'), 
    9.   -> partition p20153 values less than ('2015-10-01'), 
    10.   -> partition p20154 values less than ('2016-01-01'),
    11.   -> partition p20161 values less than ('2016-04-01'),
    12.   -> partition partlog values less than maxvalue 
    13.   -> );
    14. Query OK, 0 rows affected (0.12 sec)

    注意

    1. 对于通过RANGE分区的表，只可以使用ADD PARTITION添加新的分区到分区列表的高端。即不能添加比这个分区的范围小的分区。
    2. 对于按照RANGE分区的表，只能重新组织相邻的分区；不能跳过RANGE分区。不能使用REORGANIZEPARTITION来改变表的分区类型；也就是说，例如，不能把RANGE分区变为HASH分区，反之亦然。也不能使用该命令来改变分区表达式或列。
    3. 注意主键和唯一索引的区别
    4. MySQL主键的限制，每一个分区表中的公式中的列，必须在主键/unique key 中包括
      官方资料：https://dev.mysql.com/doc/refman/5.5/en/partitioning.html
    5. 如果原分区定义LESS THAN MAXVALUE，执行add partition会报错MAXVALUE can only be used in last partition definition，可对该表的分区重新定义，其中的数据不会丢失，或者创建分区的时候，不定义MAX VALUE，届时手动新增分区。

    应用场景示例

    订单表比预想中扩张速度快

    根据公司数据库实际情况，订单表有可能会比预想中扩张速度快，这里可能需要预先准备下优化方案，传统方案是分表或者分库，不过目前最好的方案是使用mysql的表分区来优化。不过需要注意的是在表分区建立后mysql查询缓存会失效，那么可以说暂时分表带来的好处在于更新、删除以及锁处理的时间会减少，但是如果查询并非针对表分区字段进行，那么查询的时间由于查询缓存失效反而会增加，这点需要取舍。
    第一步:由于表分区必须在表建立的时候创建规则，而已经存在的没有创建过表分区规则的表需要重新做导入处理。方法如下:

    1. #这里使用HASH表分区，mysql会根据HASH字段来自动分配数据到不同的表分区，这种情况适用于没有表分区规则但是有需要分表来进行查询优化的情况。这里根据id字段hash规则创建2个表分区 
    2. CREATE TABLE `creater_bak` ( 
    3.   `id` int(11) NOT NULL, 
    4.   `name` varchar(100) DEFAULT NULL, 
    5.   PRIMARY KEY (`id`) 
    6. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 
    7. PARTITION BY HASH(id) PARTITIONS 2

    创建完成后开始导入原表数据：

    1. insert into creater_bak select * from creater;

    如果数据量非常大，觉得预设的表分区数量太少，那么可以新增表分区，mysql会自动重新分配：

    1. #这里新增8个表分区，加上新建表时候的2个，一共10个表分区了 
    2. ALTER TABLE `creater_bak` ADD PARTITION PARTITIONS 8;

    最后修改表名为原表名即可。
    PS：下面是使用RANGE形式表分区，其中一些注意点HASH表分区也一样要注意：
    1.如果使用RANGE形式进行表分区，必须设定规则，例如：

    1. CREATE TABLE `creater_bak` ( 
    2.   `id` int(11) NOT NULL, 
    3.   `name` varchar(100) DEFAULT NULL, 
    4.   PRIMARY KEY (`id`) 
    5. ) ENGINE=InnoDB DEFAULT CHARSET=utf8 
    6. PARTITION BY RANGE(id) ( 
    7.     PARTITION p0 VALUES LESS THAN (500), 
    8.     PARTITION p1 VALUES LESS THAN (1000), 
    9.     PARTITION p2 VALUES LESS THAN MAXVALUE 
    10. )

    2.如果想修改有规则的表分区，注意只能新增，不要随意删除，这里删除表分区会造成该表分区内部数据也一起被删除掉，千万注意。另外如果设定了MAXVALUE那么是不能新增的，虽然删除MAXVALUE那条表分区后可以新增，但是依然注意删除的MAXVALUE分区是否有数据，如果有则不能随意删除，最好的办法依然是重建一张新表，表在创建时候重新制定规则后把旧表导入新表，这样能保证不会丢失数据。虽然最好不要删除分区，但是依然下面介绍如何删除表分区以及新增表分区：

    1. #删除上面的MAXVALUE规则表分区(如果该表分区有数据，请勿随便使用此操作) 
    2. ALTER TABLE `creater_bak` drop PARTITION p2; 
    3. #新增规则表分区，注意按规则步长来新增，否则会报错，这里步长为500 
    4. ALTER TABLE `creater_bak` add PARTITION(PARTITION p2 VALUES LESS THAN (1500)) 
    5. ALTER TABLE `creater_bak` add PARTITION(PARTITION p3 VALUES LESS THAN MAXVALUE)

    最后使用下面的语句可以查看分区搜索情况:

    1. EXPLAIN PARTITIONS select * from `creater_bak` b1 where b1.`id`=11

    坑爹的日志表

    前些天拿到一个表，将近有4000w数据，没有任何索引，主键。（建这表的绝对是个人才）
    这是一个日志表，记录了游戏中物品的产出与消耗，原先有一个后台对这个表进行统计。。。。。（这要用超级计算机才能统计得出来吧），只能帮前人填坑了。。。。
    数据太大，决定用分区来重构。

    如果你发现是empty，说明你的mysql版本不够，分区至少要5.1
    下面针对业务查询，决定用时间来做range分区(还有list,hash等类型)，一个月一个区.
    按照RANGE分区的表是通过如下一种方式进行分区的，每个分区包含那些分区表达式的值位于一个给定的连续区间内的行。这些区间要连续且不能相互重叠，使用VALUES LESS THAN操作符来进行定义。
    新建一个表：

    1. CREATE TABLE `xxxxxxxx` (    
    2. `crttm` int(11) NOT NULL,    
    3. `srvid` int(11) NOT NULL,    
    4. `evtid` int(11) NOT NULL,    
    5. `aid` int(11) NOT NULL,    
    6. `rid` int(11) NOT NULL,    
    7. `itmid` int(11) NOT NULL,    
    8. `itmnum` int(11) NOT NULL,    
    9. `gdtype` int(11) NOT NULL,    
    10. `gdnum` int(11) NOT NULL,    
    11. `islmt` int(11) NOT NULL, 
    12. KEY `crttm` (`crttm`), 
    13.   KEY `itemid` (`itmid`), 
    14.   KEY `srvid` (`srvid`), 
    15.   KEY `gdtype` (`gdtype`) 
    16. ) ENGINE=myisam DEFAULT CHARSET=utf8 
    17. PARTITION BY RANGE (crttm)  
    18. ( 
    19. PARTITION p201303 VALUES LESS THAN (unix_timestamp('2013-04-01')), 
    20. PARTITION p201304 VALUES LESS THAN (unix_timestamp('2013-05-01')), 
    21. PARTITION p201305 VALUES LESS THAN (unix_timestamp('2013-06-01')), 
    22. PARTITION p201306 VALUES LESS THAN (unix_timestamp('2013-07-01')), 
    23. PARTITION p201307 VALUES LESS THAN (unix_timestamp('2013-08-01')), 
    24. PARTITION p201308 VALUES LESS THAN (unix_timestamp('2013-09-01')), 
    25. PARTITION p201309 VALUES LESS THAN (unix_timestamp('2013-10-01')), 
    26. PARTITION p201310 VALUES LESS THAN (unix_timestamp('2013-11-01')), 
    27. PARTITION p201311 VALUES LESS THAN (unix_timestamp('2013-12-01')), 
    28. PARTITION p201312 VALUES LESS THAN (unix_timestamp('2014-01-01')), 
    29. PARTITION p201401 VALUES LESS THAN (unix_timestamp('2014-02-01')) 
    30. );

    注意

    1. primary key和unique key必须包含在分区key的一部分，否则在创建primary key和unique index时会报”ERROR 1503 (HY000)“
      mysql> create unique index idx_employees1_job_code on employees1(job_code);
      ERROR 1503 (HY000): A UNIQUE INDEX must include all columns in the table's partitioning function
      或
      mysql> ALTER TABLE skate.employees1 ADD PRIMARY KEY (id) ;
      ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function
    2. 范围分区添加分区只能在最大值后面追加分区
    3. 所有分区的engine必须一样
    4. 范围分区分区字段：integer、数值表达式、日期列，日期函数表达式(如year(),to_days(),to_seconds(),unix_timestamp())
      将旧的表数据导入到新表后，看到新表的数据都分布到不同的区了！

    每半月一个分区，自动维护

    建表语句

    1. drop table if exists terminal_parameter;
    2. CREATE TABLE `terminal_parameter` (
    3.   `terminal_parameter_id` int(11) NOT NULL AUTO_INCREMENT,
    4.   `serial` int(11) DEFAULT NULL,
    5.   `network_type` char(1) DEFAULT NULL,
    6.   `mcc` int(8) DEFAULT NULL,
    7.   `mnc` int(8) DEFAULT NULL,
    8.   `lac` int(8) DEFAULT NULL,
    9.   `cellid` int(8) DEFAULT NULL,
    10.   `bsic_psc` int(8) DEFAULT NULL,
    11.   `ta_ec_io` int(8) DEFAULT NULL,
    12.   `bcch_rxlev_rscp` int(8) DEFAULT NULL,
    13.   `arfcn_uarfcn` int(8) DEFAULT NULL,
    14.   `rxq` int(8) DEFAULT NULL,
    15.   `c1` int(8) DEFAULT NULL,
    16.   `c2` int(8) DEFAULT NULL,
    17.   `signal_intensity` int(8) DEFAULT NULL,
    18.   `error_rate` int(8) DEFAULT NULL,
    19.   `alarm_type` varchar(16) DEFAULT NULL,
    20.   `txpower` int(8) DEFAULT NULL,
    21.   `small_running_number` int(8) DEFAULT NULL,
    22.   `createtime` datetime NOT NULL,
    23.   `userid` int(8) NOT NULL,
    24.   `terminal_id` int(8) DEFAULT NULL,
    25.   `state` char(1) DEFAULT '0',
    26.   `order_definition_id` int(8) DEFAULT NULL,
    27.   `order_code` varchar(20) DEFAULT NULL,
    28.   `charg_voltage` float(8,2) DEFAULT NULL,
    29.   `battery_voltage` float(8,2) DEFAULT NULL,
    30.   `temprad` float(8,2) DEFAULT NULL,
    31.   `run_state` int(8) DEFAULT NULL,
    32.   `switching_value1` int(8) DEFAULT NULL,
    33.   `switching_value2` int(8) DEFAULT NULL,
    34.   `bcch_freq` int(8) DEFAULT NULL,
    35.   `rxlev` int(8) DEFAULT NULL,
    36.   `rxlev_full` int(8) DEFAULT NULL,
    37.   `rxlev_sub` int(8) DEFAULT NULL,
    38.   `rxqual` int(8) DEFAULT NULL,
    39.   `rxqual_full` int(8) DEFAULT NULL,
    40.   `rxqual_sub` int(8) DEFAULT NULL,
    41.   `idle_ts` int(8) DEFAULT NULL,
    42.   `timing_advance` int(8) DEFAULT NULL,
    43.   `tch_efr_out` int(8) DEFAULT NULL,
    44.   `tch_efr_in` int(8) DEFAULT NULL,
    45.   `dtx` int(8) DEFAULT NULL,
    46.   `major_cycle_frequency` int(8) DEFAULT NULL,
    47.   PRIMARY KEY (`terminal_parameter_id`,`createtime`),
    48.   KEY `idx_createtime` (`createtime`),
    49.   KEY `idx_terminal_id` (`terminal_id`)
    50. ) ENGINE=InnoDB DEFAULT CHARSET=utf8
    51. PARTITION BY RANGE(TO_DAYS (createtime))
    52. (
    53. PARTITION p20101115 VALUES LESS THAN (TO_DAYS('2010-11-15')),
    54. PARTITION p20101130 VALUES LESS THAN (TO_DAYS('2010-11-30')),
    55. PARTITION p20101215 VALUES LESS THAN (TO_DAYS('2010-12-15')),
    56. PARTITION p20101231 VALUES LESS THAN (TO_DAYS('2010-12-31')),
    57. PARTITION p20110115 VALUES LESS THAN (TO_DAYS('2011-01-15')),
    58. PARTITION p20110131 VALUES LESS THAN (TO_DAYS('2011-01-31')),
    59. PARTITION p20110215 VALUES LESS THAN (TO_DAYS('2011-02-15')),
    60. PARTITION p20110228 VALUES LESS THAN (TO_DAYS('2011-02-28')),
    61. PARTITION p20110315 VALUES LESS THAN (TO_DAYS('2011-03-15')),
    62. PARTITION p20110331 VALUES LESS THAN (TO_DAYS('2011-03-31')),
    63. PARTITION p20110415 VALUES LESS THAN (TO_DAYS('2011-04-15')),
    64. PARTITION p20110430 VALUES LESS THAN (TO_DAYS('2011-04-30'))
    65. );

    存储过程代码：

    1. * 每隔15天执行一次
    2. /* 程序功能：循环使用分区，每半个月一个分区，保留6个月的数据
    3.  时间：2010-11-09 */
    4.  drop procedure if exists Set_Partition;
    5.  create procedure Set_Partition()
    6.  begin
    7. /* 事务回滚，其实放这里没什么作用，ALTER TABLE是隐式提交，回滚不了的。*/
    8.     declare exit handler for sqlexception rollback;
    9.     start TRANSACTION;
    11. /* 到系统表查出这个表的最大分区，得到最大分区的日期。在创建分区的时候，名称就以日期格式存放，方便后面维护 */
    12.     select REPLACE(partition_name,'p','') into @P12_Name from INFORMATION_SCHEMA.PARTITIONS where TABLE_SCHEMA='mydb_1' and table_name='terminal_parameter' order by partition_ordinal_position DESC limit 1;
    14. /* 判断最大分区的时间段，如果是前半个月的，那么根据情况需要加13,14,15,16天
    15.    如果是后半个月的，那么直接加15天。 +0 是为了把日期都格式化成YYYYMMDD这样的格式*/
    16.     IF (DAY(@P12_Name)<=15) THEN
    17.        CASE day(LAST_DAY(@P12_name))
    18.           WHEN 31 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 16 DAY))+0 ;
    19.           WHEN 30 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 15 DAY))+0 ;
    20.           WHEN 29 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 14 DAY))+0 ; 
    21.           WHEN 28 THEN set @Max_date= date(DATE_ADD(@P12_Name+0,INTERVAL 13 DAY))+0 ; 
    22.        END CASE;
    23.     ELSE
    24.        set @Max_date= date(DATE_ADD(@P12_Name+0, INTERVAL 15 DAY))+0;
    25.     END IF;
    27. /* 修改表，在最大分区的后面增加一个分区，时间范围加半个月 */
    28.     SET @s1=concat('ALTER TABLE terminal_parameter ADD PARTITION (PARTITION p',@Max_date,' VALUES LESS THAN (TO_DAYS (''',date(@Max_date),''')))');
    29.     PREPARE stmt2 FROM @s1;
    30.     EXECUTE stmt2;
    31.     DEALLOCATE PREPARE stmt2;
    33. /* 取出最小的分区的名称，并删除掉 。
    34.     注意：删除分区会同时删除分区内的数据，慎重 */
    35.     select partition_name into @P0_Name from INFORMATION_SCHEMA.PARTITIONS where TABLE_SCHEMA='mydb_1' and table_name='terminal_parameter' order by partition_ordinal_position limit 1;
    36.     SET @s=concat('ALTER TABLE terminal_parameter DROP PARTITION ',@P0_Name);
    37.     PREPARE stmt1 FROM @s; 
    38.     EXECUTE stmt1; 
    39.     DEALLOCATE PREPARE stmt1; 
    41. /* 提交 */
    42.     COMMIT ;
    43.  end;

    计划任务代码：

    1. CREATE EVENT e_Set_Partition
    2.           ON SCHEDULE
    3.           EVERY 15 day STARTS '2011-04-30 23:59:59' 
    4.           DO
    5.           call Set_Partition();

    备注

    RDS for MySQL 对表分区的限制

    只能对数据表的整型列进行分区，或者数据列可以通过分区函数转化成整型列。
    最大分区数目不能超过 1024。
    如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键在内。
    不支持外键。
    不支持全文索引（FULL TEXT）。

    RDS是否需要自己做分表、读写分离

    RDS产品是主备架构，但是备库不支持读写请求，只作高可用存在，RDS目前已经推出只读实例，您可以到官网购买RDS只读实例做读写分离。
    另外，我们后续也会提供分布式RDS（DRDS），解决您水平拆分的问题，目前RDS需要您自己分表、分库(分平拆分、垂直拆分)。

    RDS MySQL的单表尺寸限制

    单表的有效最大表尺寸通常受限于操作系统的文件尺寸限制，而不是受MySQL内部机制的限制。
    由于RDS实例的最大尺寸为 2TB， 因此单表的最大尺寸为略小于 2TB（因为会有些元数据等的开销）。若RDS的MySQL实例有多张表，多张表的总和也不能超过2TB。

    注：本文摘自互联网~我只是理解后做了个汇总
  • 相关阅读:
    css引入方式
    HTML标签
    动态导入模块impoerlib
    pymysql连接数据库
    创建数据库表之引擎
    IO多路复用互动聊天，select函数监听
    欧拉筛法求素数个数
    与三角形相关的问题 WITH 有向面积
    时间复杂度的计算
    折半查找
  • 原文地址：https://www.cnblogs.com/leestar54/p/6225821.html
Copyright © 2011-2022 走看看