1020关于MYCAT的安装和使用总结

第一部分 读写分离配置

转自：http://www.51testing.com/html/34/369434-3686088.html

使用Mycat 做简单的读写分离(一)

       原本使用的是amoeba做的读写分离,但是amoeba早已经停止了维护,有问题也没有办法解决,并且不支持双主多重模式.最近mycat又非常火热.觉得用mycat替换现有的amoeba.

温馨提示:

配置mycat之前请做好准备工作,统一各个数据库的字符集.并且最好使用mysql5.6的版本进行配置.以免以为版本问题带来很多未知的麻烦!

一、下载mycat      

mycat的官网网址  http://www.mycat.org.cn/,我使用的是mycat的1.4的Linux安装包

下载地址

https://github.com/MyCATApache/Mycat-download/blob/master/1.4-RELEASE/Mycat-server-1.4-release-20151019230038-linux.tar.gz

下载mycat的安装包到 /opt 目录下

#cd /opt

#wget https://github.com/MyCATApache/Mycat-download/blob/master/1.4-RELEASE/Mycat-server-1.4-release-20151019230038-linux.tar.gz

# tar -xvf  Mycat-server-1.4-RELEASE-20151017210032-linux.tar.gz

解压后放到/usr/local下  

#mv mycat /usr/local

# pwd

/usr/local/mycat

# ls

bin  catlet  conf  lib  logs  version.txt

二、配置环境变量

检查是否已经配置好了java的环境变量

#java -version

显示

java version "1.8.0_45"

Java(TM) SE Runtime Environment (build 1.8.0_45-b14)

Java HotSpot(TM) 64-Bit Server VM (build 25.45-b02, mixed mode)

表示我的java环境变量配置好了.,如果你还没用配置好,需先配置.如果你不会请自己度娘.非常多我就不写了

三、修改mycat配置文件

接下来修改mycat的配置文件

#cd /usr/local/mycat/conf

#ls

autopartition-long.txt       partition-hash-int.txt    sequence_db_conf.properties

cacheservice.properties      partition-range-mod.txt   sequence_time_conf.properties

dnindex.properties           router.xml                server.xml

ehcache.xml                  rule.xml                  wrapper.conf

index_to_charset.properties  schema.xml

log4j.xml                    sequence_conf.properties

配置文件非常多,配置项也远比amoeba复杂.如果只是简单配置在不同的服务器上进行读写分离只需要配置两个文件

server.xml 和  schema.xml

（一）先配置server.xml

找到这一段

</system>

        <user name="test">

                <property name="password">test</property>

                <property name="schemas">TESTDB</property>

        </user>

        <user name="user">

                <property name="password">user</property>

                <property name="schemas">TESTDB</property>

                <property name="readOnly">true</property>

        </user>

这里配置了两个可以来连接的用户

用户1  test   密码test   给予了此用户TESTDB数据库的权限

用户2  user   密码user   给予了此用户TESTDB数据库的只读权限

注意这里的testdb 不一定是你数据库上的真实库名.可以任意指定.只要和接下来的schema.xml的配置文件中的库名统一即可

 

（二）接下来配置schema.xml

<?xml version="1.0"?>

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">

<mycat:schema xmlns:mycat="http://org.opencloudb/">

        <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">

                <!-- auto sharding by id (long) -->

                <table name="travelrecord" dataNode="dn1,dn2,dn3" rule="auto-sharding-long" />

                <!-- global table is auto cloned to all defined data nodes ,so can join 

                        with any table whose sharding node is in the same data node -->

                <table name="company" primaryKey="ID" type="global" dataNode="dn1,dn2,dn3" />

                <table name="hotnews" primaryKey="ID" dataNode="dn1,dn2,dn3"

                        rule="mod-long" />

                <!-- <table name="dual" primaryKey="ID" dataNode="dnx,dnoracle2" type="global" 

                        rule="mod-long" /> -->

                <table name="employee" primaryKey="ID" dataNode="dn1,dn2"

                        rule="sharding-by-intfile" />

                <table name="customer" primaryKey="ID" dataNode="dn1,dn2"

                        rule="sharding-by-intfile">

                        <childTable name="orders" primaryKey="ID" joinKey="customer_id"

                                parentKey="id">

                                <childTable name="order_items" joinKey="order_id"

                                        parentKey="id" />

                        </childTable>

                        <childTable name="customer_addr" primaryKey="ID" joinKey="customer_id"

                                parentKey="id" />

                </table>

                        /> -->

        </schema>

        <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743" 

                /> -->

        <dataNode name="dn1" dataHost="localhost1" database="db1" />

        <dataNode name="dn2" dataHost="localhost1" database="db2" />

        <dataNode name="dn3" dataHost="localhost1" database="db3" />

        <!--<dataNode name="dn4" dataHost="sequoiadb1" database="SAMPLE" />

         <dataNode name="jdbc_dn1" dataHost="jdbchost" database="db1" /> 

        <dataNode       name="jdbc_dn2" dataHost="jdbchost" database="db2" /> 

        <dataNode name="jdbc_dn3"       dataHost="jdbchost" database="db3" /> -->

        <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"

                writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

                <heartbeat>select user()</heartbeat>

                <!-- can have multi write hosts -->

                <writeHost host="hostM1" url="localhost:3306" user="root"

                        password="123456">

                        <!-- can have multi read hosts -->

                </writeHost>

                <writeHost host="hostS1" url="localhost:3316" user="root"

                        password="123456" />

看着这一大篇你是否和我一样的开始蛋疼.好复杂有木有!

算了给大家来一份我的简单点的.因为我们现在只做库的读写分离,没用分库 没用分表这些东西.

<mycat:schema xmlns:mycat="http://org.opencloudb/">

<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">

</schema>

<dataNode name="dn1" dataHost="localhost1" database="db1" />

<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

<heartbeat>select user()</heartbeat>

<writeHost host="hostM1" url="192.168.1.100:3306" user="root" password="123456">

<readHost host="hostS1" url="192.168.1.101:3306" user="root" password="123456" />

                </writeHost>

        </dataHost>

（三）配置文件解释

一,  <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">

这里TESTDB 就是我们对外声称的我们有数据库的名称  必须和server.xml中的用户指定的数据库名称一致

添加一个dataNode="dn1" 是指定了我们这个库只在dn1上.没有进行分库

二, <dataNode name="dn1" dataHost="localhost1" database="db1" />

这里只需要改database的名字 db1 就是你真实数据库服务上的数据库名 .

根据你自己的数据库名进行修改.

三,<dataHost name="localhost1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">

这里只需要配置三个地方    balance="1"与writeType="0" ,switchType=”1”

a. balance 属性负载均衡类型，目前的取值有 4 种：
1. balance="0", 不开启读写分离机制，所有读操作都发送到当前可用的 writeHost 上。
2. balance="1"，全部的 readHost 与 stand by writeHost 参与 select 语句的负载均衡，简单的说，当双主双从模式(M1 ->S1 ， M2->S2，并且 M1 与 M2 互为主备)，正常情况下， M2,S1,S2 都参与 select 语句的负载均衡。
3. balance="2"，所有读操作都随机的在 writeHost、 readhost 上分发。
4. balance="3"， 所有读请求随机的分发到 wiriterHost 对应的 readhost 执行,writerHost 不负担读压力，注意 balance=3 只在 1.4 及其以后版本有， 1.3 没有。

b. writeType 属性
负载均衡类型，目前的取值有 3 种：
1. writeType="0", 所有写操作发送到配置的第一个 writeHost，第一个挂了切到还生存的第二个
writeHost，重新启动后已切换后的为准，切换记录在配置文件中:dnindex.properties .
2. writeType="1"，所有写操作都随机的发送到配置的 writeHost。
3. writeType="2"，没实现。

c. switchType 属性
- -1 表示不自动切换
- 1 默认值，自动切换
- 2 基于MySQL 主从同步的状态决定是否切换

四,<writeHost host="hostM1" url="192.168.1.100:3306" user="root" password="123456">

<readHost host="hostS1" url="192.168.1.101:3306" user="root" password="123456" />

</writeHost>

这里是配置的我们的两台读写服务器IP地址访问端口和 访问用户的用户名和密码

四、启动mycat

第二部分 MySQL 高可用：mysql+mycat实现数据库分片（分库分表）

转自 http://blog.csdn.net/kk185800961/article/details/51147029

什么是MYCAT：

一个彻底开源的，面向企业应用开发的大数据库集群

支持事务、ACID、可以替代MySQL的加强版数据库

一个可以视为MySQL集群的企业级数据库，用来替代昂贵的Oracle集群

一个融合内存缓存技术、NoSQL技术、HDFS大数据的新型SQL Server

结合传统数据库和新型分布式数据仓库的新一代企业级数据库产品

一个新颖的数据库中间件产品

 Mycat关键特性 ：

支持SQL92标准

遵守Mysql原生协议，跨语言，跨平台，跨数据库的通用中间件代理。

基于心跳的自动故障切换，支持读写分离，支持MySQL主从，以及galera cluster集群。

支持Galera for MySQL集群，Percona Cluster或者MariaDB cluster

基于Nio实现，有效管理线程，高并发问题。

支持数据的多片自动路由与聚合，支持sum,count,max等常用的聚合函数,支持跨库分页。

支持单库内部任意join，支持跨库2表join，甚至基于caltlet的多表join。

支持通过全局表，ER关系的分片策略，实现了高效的多表join查询。

支持多租户方案。

支持分布式事务（弱xa）。

支持全局序列号，解决分布式下的主键生成问题。

分片规则丰富，插件化开发，易于扩展。

强大的web，命令行监控。

支持前端作为mysq通用代理，后端JDBC方式支持Oracle、DB2、SQL Server 、 mongodb 、巨杉。

支持密码加密

支持服务降级

支持IP白名单

支持SQL黑名单、sql注入攻击拦截

支持分表（1.6）

集群基于ZooKeeper管理，在线升级，扩容，智能优化，大数据处理（2.0开发版）。

（官方说明参考：Mycat 数据库分库分表中间件 ）

JDK 下载（建议要求jdk7及以上）：

http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html

Linux x86 147.68 MB jdk-7u80-linux-i586.tar.gz


MyCAT 相关：

Mycat 捐赠地址：http://www.mycat.io/donate.html

Mycat 官斱网站：http://www.mycat.io/

Mycat 源码：https://github.com/MyCATApache/Mycat-Server

Mycat 下载地址：https://github.com/MyCATApache/Mycat-download

既然 mycat  那么强大，那就测试看看：

#测试环境：

# 有3张表 users,item,item_detail (item 的子表) 和 3 个数据库 db01,db02,db03

# 表 users 存储在数据库 db01, 表 item 和 item_detail 分布存储在数据 db01 和 db02 

# 现在在3个数据库都创建相同的表

create database db01;
create database db02;
create database db03;

CREATE TABLE users (
    id INT NOT NULL AUTO_INCREMENT,
    name varchar(50) NOT NULL default '',
    indate DATETIME NOT NULL default '0000-00-00 00:00:00',
    PRIMARY KEY (id)
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE item (
    id INT NOT NULL AUTO_INCREMENT,
    value INT NOT NULL default 0,
    indate DATETIME NOT NULL default '0000-00-00 00:00:00',
    PRIMARY KEY (id)
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;

CREATE TABLE item_detail (
    id INT NOT NULL AUTO_INCREMENT,
    value INT NOT NULL default 0,
    name varchar(50) NOT NULL default '',
    item_id INT NOT NULL,
    PRIMARY KEY (id),
    key (item_id)
)AUTO_INCREMENT= 1 ENGINE=InnoDB DEFAULT CHARSET=utf8;

# JDK 安装配置

cd /usr/local/src
tar xvf jdk-7u80-linux-i586.tar.gz
mkdir -p /usr/local/java
mv /usr/local/src/jdk1.7.0_80 /usr/local/java/
chown -R root:root /usr/local/java
cd /usr/local/java/

#配置环境变量

vi /etc/profile
vi ~/.bash_profile

export JAVA_HOME=/usr/local/java/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

#设置生效（最好重启系统）

source /etc/profile
source ~/.bash_profile

#测试是否安装成功

[root@server1 ~]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) Client VM (build 24.80-b11, mixed mode)

# Mycat 安装配置

cd /usr/local/src
tar xvf Mycat-server-1.5.1-RELEASE-20160405120037-linux.tar.gz
mv /usr/local/src/mycat /usr/local/

groupadd mycat
useradd -g mycat mycat
passwd mycat
chown -R mycat.mycat /usr/local/mycat

#添加环境变量

vi /etc/profile
vi ~/.bash_profile

export MYCAT_HOME=/usr/local/mycat

#设置生效（最好重启系统）

source /etc/profile
source ~/.bash_profile

#服务器名和IP绑定

vi /etc/hosts
192.168.100.50  server1
127.0.0.1       server1

# 设置 wrapper.java.command 的java 路径

 ( 同时可设置 -Xmx 和 -Xms ，参考： mycat 启动失败 The specified size exceeds the maximum representable size)

vi /usr/local/mycat/conf/wrapper.conf

wrapper.java.command=%JAVA_HOME%/bin/java

#配置 server.xml 和 schema.xml  (本案例配置信息在文章底部)

vi /usr/local/mycat/conf/server.xml
vi /usr/local/mycat/conf/schema.xml

#启动mycat服务 ./mycat { console | start | stop | restart | status | dump }

/usr/local/mycat/bin/mycat console

#mycat 进程
ps -ef | grep mycat

#日子信息
tail -20 /usr/local/mycat/logs/wrapper.log

测试：

#访问 mycat   (凭据参考 /usr/local/mycat/conf/server.xml)

mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB

mysql> show databases;
+----------+
| DATABASE |
+----------+
| TESTDB   |
+----------+

mysql> show tables;
+------------------+
| Tables in TESTDB |
+------------------+
| item             |
| item_detail      |
| users            |
+------------------+

#在 mycat 中插入数据并查询：

insert into users(name,indate) values('kk',now());
insert into item(id,value,indate) values(1,100,now());
insert into item_detail(value,name,item_id) values('pad',40,1);
insert into item_detail(value,name,item_id) values('phone',50,1);

insert into item(id,value,indate) values(999,100,now());
insert into item_detail(value,name,item_id) values('pad',40,999);
insert into item_detail(value,name,item_id) values('phone',50,999);

mysql> select * from users;
+----+------+---------------------+
| id | name | indate              |
+----+------+---------------------+
|  1 | kk   | 2016-04-13 06:28:00 |
+----+------+---------------------+

mysql> select * from item;
+-----+-------+---------------------+
| id  | value | indate              |
+-----+-------+---------------------+
| 999 |   100 | 2016-04-13 06:34:12 |
|   1 |   100 | 2016-04-13 06:32:58 |
+-----+-------+---------------------+

mysql> select * from item_detail;
+----+-------+------+---------+
| id | value | name | item_id |
+----+-------+------+---------+
|  1 |     0 | 40   |     999 |
|  2 |     0 | 50   |     999 |
|  1 |     0 | 40   |       1 |
|  2 |     0 | 50   |       1 |
+----+-------+------+---------+

#打开另一个终端，使用mysql账号登陆访问查看表情况

mysql -uroot -ptest -p

#具体的表数据存储情况：

-----------------------------------------
mysql> select * from db01.users;
+----+------+---------------------+
| id | name | indate              |
+----+------+---------------------+
|  1 | kk   | 2016-04-13 06:28:00 |
+----+------+---------------------+

mysql> select * from db02.users;

mysql> select * from db03.users;

-----------------------------------------

mysql> select * from db01.item;

mysql> select * from db02.item;
+-----+-------+---------------------+
| id  | value | indate              |
+-----+-------+---------------------+
| 999 |   100 | 2016-04-13 06:34:12 |
+-----+-------+---------------------+

mysql> select * from db03.item;
+----+-------+---------------------+
| id | value | indate              |
+----+-------+---------------------+
|  1 |   100 | 2016-04-13 06:32:58 |
+----+-------+---------------------+

-----------------------------------------

mysql> select * from db01.item_detail;

mysql> select * from db02.item_detail;
+----+-------+------+---------+
| id | value | name | item_id |
+----+-------+------+---------+
|  1 |     0 | 40   |     999 |
|  2 |     0 | 50   |     999 |
+----+-------+------+---------+

mysql> select * from db03.item_detail;
+----+-------+------+---------+
| id | value | name | item_id |
+----+-------+------+---------+
|  1 |     0 | 40   |       1 |
|  2 |     0 | 50   |       1 |
+----+-------+------+---------+

测试完成！！~数据进行了分库分表！
------------------------------------------------------------------------------------

------------------------------------------------------------------------------------

# server.xml 和 schema.xml 配置情况

# vi /usr/local/mycat/conf/server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://org.opencloudb/">
        <system>
            <!--
                <property name="processors">32</property>
                <property name="processorExecutor">32</property>
                <property name="bindIp">0.0.0.0</property>
                <property name="frontWriteQueueSize">4096</property>
                <property name="idleTimeout">300000</property>
                <property name="mutiNodePatchSize">100</property>
            -->
                <property name="defaultSqlParser">druidparser</property>
                <property name="mutiNodeLimitType">1</property>
                <property name="serverPort">8066</property>
                <property name="managerPort">9066</property>
        </system>
        <!-- 任意设置登陆 mycat 的用户名,密码,数据库  -->
        <user name="test">
                <property name="password">test</property>
                <property name="schemas">TESTDB</property>
        </user>

        <user name="user">
                <property name="password">user</property>
                <property name="schemas">TESTDB</property>
                <property name="readOnly">true</property>
        </user>
        <!--
        <quarantine>
           <whitehost>
              <host host="127.0.0.1" user="mycat"/>
              <host host="127.0.0.2" user="mycat"/>
           </whitehost>
       <blacklist check="false"></blacklist>
        </quarantine>
        -->
</mycat:server>

# vi /usr/local/mycat/conf/schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">

    <!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致  -->
    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
        <table name="users" primaryKey="id" type="global" dataNode="node_db01" />

        <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="mod-long">
                <childTable name="item_detail" primaryKey="id" joinKey="item_id" parentKey="id" />
        </table>
    </schema>

    <!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost -->
    <dataNode name="node_db01" dataHost="dataHost01" database="db01" />
    <dataNode name="node_db02" dataHost="dataHost01" database="db02" />
    <dataNode name="node_db03" dataHost="dataHost01" database="db03" />

    <!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 -->
    <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
            <heartbeat>select user()</heartbeat>
            <writeHost host="server1" url="127.0.0.1:3306" user="root" password="mysql"/>
    </dataHost>
</mycat:schema>


其他参考 dataNode可以放到schema中 也可以放到table标签中。根据实际情况使用

http://www.csdn.net/article/2015-07-16/2825228 （原理及应用）
http://www.songwie.com/articlelist/50（理论和实践 写的好）http://ly.blog.itpub.net/29733787/viewspace-2049139/（示例）  MyCAT安装使用及简单测试 
http://www.cnblogs.com/ivictor/p/5111495.html（示例）  MyCAT简易入门
http://www.2cto.com/database/201503/385641.html（示例） Mycat水平分表，垂直分表实践（2）
http://www.51testing.com/html/34/369434-3686088.html（示例）使用Mycat 做简单的读写分离(一)