MyCat

分库分表之MyCat实现

官方网站：http://www.mycat.org.cn/

分库分表： 一般不要这样做， 前提：除非是数据库数据特别大时， 比如上亿条数据

 1 mycat介绍：

1、一个彻底开源的，面向企业应用开发的大数据库集群     

2、支持事务、ACID、可以替代MySQL的加强版数据库       

3、一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群     

4、一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server     

5、结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品   

6、一个新颖的数据库中间件产品

2、为什么使用MyCat

如今随着互联网的发展，数据的量级也是撑指数的增长，从GB到TB到PB。对数据的各种操作也是愈加的困难，传统的关系性数据库已经无法满足快速查询与插入数据的需求。这个时候NoSQL的出现暂时解决了这一危机。它通过降低数据的安全性，减少对事务的支持，减少对复杂查询的支持，来获取性能上的提升。但是，在有些场合NoSQL一些折衷是无法满足使用场景的，就比如有些使用场景是绝对要有事务与安全指标的。这个时候NoSQL肯定是无法满足的，所以还是需要使用关系性数据库。如何使用关系型数据库解决海量存储的问题呢？此时就需要做数据库集群，为了提高查询性能将一个数据库的数据分散到不同的数据库中存储，为应对此问题就出现了——MyCat 

综上所述：Mycat作用为：能满足数据库数据大量存储；提高了查询性能

3、支持的数据库

支持MySQL ORACLE SQLServer等一些主流的数据库

 

 4 Mycat架构

 

 

1.Schema：逻辑库，与MySQL中的Database（数据库）对应，一个逻辑库中定义了所包括的Table。 

2.Table：逻辑表，即物理数据库中存储的某一张表，与传统数据库不同，这里的表格需要声明其所存储的逻辑数据节点DataNode。在此可以指定表的分片规则。 

3.DataNode：MyCAT的逻辑数据节点，是存放table的具体物理节点，也称之为分片节点，通过DataSource来关联到后端某个具体数据库上 

4.DataSource：定义某个物理库的访问地址，用于捆绑到Datanode上

5 Mycat的下载及安装

1下载mycat

github地址：https://github.com/MyCATApache

2 Mycat安装

安装rz上传文件工具

yum install -y lrzsz

第一步：把MyCat的压缩包上传到linux服务器

第二步：解压缩，得到mycat目录

tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz

第三步：进入mycat/bin，启动MyCat

       启动命令：./mycat start

       停止命令：./mycat stop

       重启命令：./mycat restart

注意：可以使用mysql的客户端直接连接mycat服务。默认服务端口为8066

6 Mycat分片

1 需求

把商品表分片存储到三个数据节点上。

2安装环境

mysql节点1环境

操作系统版本 : centos6.5

数据库版本 : mysql-5.6

mycat版本 ：1.6 release

数据库名 : db1、db2、db3

ip:192.168.10.133

MyCat安装到节点192.168.10.134上

3配置schema.xml

3.1Schema.xml介绍

Schema.xml作为MyCat中重要的配置文件之一，管理着MyCat的逻辑库、表、分片规则、DataNode以及DataSource。弄懂这些配置，是正确使用MyCat的前提。这里就一层层对该文件进行解析。

schema 标签用于定义MyCat实例中的逻辑库

Table 标签定义了MyCat中的逻辑表

dataNode 标签定义了MyCat中的数据节点，也就是我们通常说所的数据分片。

dataHost标签在mycat逻辑库中也是作为最底层的标签存在，直接定义了具体的数据库实例、读写分离配置和心跳语句。

注意：若是LINUX版本的MYSQL，则需要设置为Mysql大小写不敏感，否则可能会发生表找不到的问题。

在MySQL的配置文件中my.ini [mysqld] 中增加一行

　　lower_case_table_names = 1

3.2Schema.xml配置

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://org.opencloudb/">

         <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

                   <!-- auto sharding by id (long) -->

                   <table name="TB_ITEM" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

                   <table name="TB_USER" primaryKey="ID" type="global" dataNode="dn1,dn2" />

         </schema>

         <dataNode name="dn1" dataHost="localhost1" database="db1" />

         <dataNode name="dn2" dataHost="localhost2" database="db2" />

         <dataNode name="dn3" dataHost="localhost1" database="db3" />

         <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"

                   writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

                   <heartbeat>select user()</heartbeat>

                   <!-- can have multi write hosts -->

                   <writeHost host="hostM1" url="192.168.25.134:3306" user="root"

                            password="root">

                            <!-- can have multi read hosts -->

                   </writeHost>

         </dataHost>

         <dataHost name="localhost2" maxCon="1000" minCon="10" balance="0"

                   writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

                   <heartbeat>select user()</heartbeat>

                   <!-- can have multi write hosts -->

                   <writeHost host="hostM1" url="192.168.25.166:3306" user="root"

                            password="root">

                            <!-- can have multi read hosts -->

                   </writeHost>

         </dataHost>

</mycat:schema>

4 配置server.xml

4.1Server.xml介绍

server.xml几乎保存了所有mycat需要的系统配置信息。最常用的是在此配置用户名、密码及权限。

4.2Server.xml配置

<user name="test">

    <property name="password">test</property>

    <property name="schemas">TESTDB</property>

    <property name="readOnly">true</property>

</user>

5 配置rule.xml

rule.xml里面就定义了我们对表进行拆分所涉及到的规则定义。我们可以灵活的对表使用不同的分片算法，或者对表使用相同的算法但具体的参数不同。这个文件里面主要有tableRule和function这两个标签。在具体使用过程中可以按照需求添加tableRule和function。

此配置文件可以不用修改，使用默认即可。

6 测试分片

6.1 创建表

配置完毕后，重新启动mycat。使用mysql客户端连接mycat，创建表。

-- ----------------------------

-- Table structure for tb_item

-- ----------------------------

DROP TABLE IF EXISTS `tb_item`;

CREATE TABLE `tb_item` (

  `id` bigint(20) NOT NULL COMMENT '商品id，同时也是商品编号',

  `title` varchar(100) NOT NULL COMMENT '商品标题',

  `sell_point` varchar(500) DEFAULT NULL COMMENT '商品卖点',

  `price` bigint(20) NOT NULL COMMENT '商品价格，单位为：分',

  `num` int(10) NOT NULL COMMENT '库存数量',

  `barcode` varchar(30) DEFAULT NULL COMMENT '商品条形码',

  `image` varchar(500) DEFAULT NULL COMMENT '商品图片',

  `cid` bigint(10) NOT NULL COMMENT '所属类目，叶子类目',

  `status` tinyint(4) NOT NULL DEFAULT '1' COMMENT '商品状态，1-正常，2-下架，3-删除',

  `created` datetime NOT NULL COMMENT '创建时间',

  `updated` datetime NOT NULL COMMENT '更新时间',

  PRIMARY KEY (`id`),

  KEY `cid` (`cid`),

  KEY `status` (`status`),

  KEY `updated` (`updated`)

) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';

-- ----------------------------

-- Table structure for tb_user

-- ----------------------------

DROP TABLE IF EXISTS `tb_user`;

CREATE TABLE `tb_user` (

  `id` bigint(20) NOT NULL AUTO_INCREMENT,

  `username` varchar(50) NOT NULL COMMENT '用户名',

  `password` varchar(32) NOT NULL COMMENT '密码，加密存储',

  `phone` varchar(20) DEFAULT NULL COMMENT '注册手机号',

  `email` varchar(50) DEFAULT NULL COMMENT '注册邮箱',

  `created` datetime NOT NULL,

  `updated` datetime NOT NULL,

  PRIMARY KEY (`id`),

  UNIQUE KEY `username` (`username`) USING BTREE,

  UNIQUE KEY `phone` (`phone`) USING BTREE,

  UNIQUE KEY `email` (`email`) USING BTREE

) ENGINE=InnoDB AUTO_INCREMENT=37 DEFAULT CHARSET=utf8 COMMENT='用户表';

6.2插入数据

将此文件中的数据插入到数据库：

6.3分片测试

由于配置的分片规则为“auto-sharding-long”，所以mycat会根据此规则自动分片。

每个datanode中保存一定数量的数据。根据id进行分片

经测试id范围为：

Datanode1：1~5000000

Datanode2：5000000~10000000

Datanode3：10000001~15000000

当15000000以上的id插入时报错：

[Err] 1064 - can't find any valid datanode :TB_ITEM -> ID -> 15000001

此时需要添加节点了。

7 Mycat读写分离

MyCat的读写分离是建立在MySQL主从复制基础之上实现的。

数据库读写分离对于大型系统或者访问量很高的互联网应用来说，是必不可少的一个重要功能。对于MySQL来说，标准的读写分离是主从模式，一个写节点Master后面跟着多个读节点，读节点的数量取决于系统的压力，通常是1-3个读节点的配置

Mycat读写分离和自动切换机制，需要mysql的主从复制机制配合。 

8 Mycat配置

Mycat 1.4 支持MySQL主从复制状态绑定的读写分离机制，让读更加安全可靠，配置如下：

<dataNode name="dn1" dataHost="localhost1" database="db1" />

         <dataNode name="dn2" dataHost="localhost1" database="db2" />

         <dataNode name="dn3" dataHost="localhost1" database="db3" />

         <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"

                   writeType="0" dbType="mysql" dbDriver="native" switchType="2"  slaveThreshold="100">

                   <heartbeat>show slave status</heartbeat>

                   <writeHost host="hostM" url="192.168.25.134:3306" user="root"

                            password="root">

                            <readHost host="hostS" url="192.168.25.166:3306" user="root"

                            password="root" />

                   </writeHost>

         </dataHost>

(1) 设置 balance="1"与writeType="0"

Balance参数设置：

1. balance=“0”, 所有读操作都发送到当前可用的writeHost上。

2. balance=“1”，所有读操作都随机的发送到readHost。

3. balance=“2”，所有读操作都随机的在writeHost、readhost上分发

WriteType参数设置：

1. writeType=“0”, 所有写操作都发送到可用的writeHost上。

2. writeType=“1”，所有写操作都随机的发送到readHost。

3. writeType=“2”，所有写操作都随机的在writeHost、readhost分上发。

 “readHost是从属于writeHost的，即意味着它从那个writeHost获取同步数据，因此，当它所属的writeHost宕机了，则它也不会再参与到读写分离中来，即“不工作了”，这是因为此时，它的数据已经“不可靠”了。基于这个考虑，目前mycat 1.3和1.4版本中，若想支持MySQL一主一从的标准配置，并且在主节点宕机的情况下，从节点还能读取数据，则需要在Mycat里配置为两个writeHost并设置banlance=1。”

(2) 设置 switchType="2" 与slaveThreshold="100"

switchType 目前有三种选择：

-1：表示不自动切换

1 ：默认值，自动切换

2 ：基于MySQL主从同步的状态决定是否切换

“Mycat心跳检查语句配置为 show slave status ，dataHost 上定义两个新属性： switchType="2" 与slaveThreshold="100"，此时意味着开启MySQL主从复制状态绑定的读写分离与切换机制。Mycat心跳机制通过检测 show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三个字段来确定当前主从同步的状态以及Seconds_Behind_Master主从复制时延。