大觅网05Day

1.Mycat概述

　　在此前的服务器对数据库的存储数量不多的时候，MySql数据库基本能够满足对数据存储的要求。

　　但随着技术的不断发展，MySql甚至Redis都无法满足现今存储数量的指数级增长的要求，在面对千万级以上的数据存储时，MySql的性能将大幅下降，此时我们需要一个能够解决这些问题的办法。

　　而MyCat（数据库中间件）则是当下主流的解决海量数据存储问题的方法，接下来我将简略的介绍它的主要功能与原理。

2.Mycat的分库分表

　　Mycat是一个数据库中间件，也可以理解为是数据库代理。

　　Mycat的分表操作，即在配置文件中预先配置好将数据分开存储的几张表，且设定分开存储的相关规则，此时注意真实数据库的表名与配置文件中的表名一致。

　　当我们进行数据存储的操作时，Mycat将这些数据根据配置，把这些数据存储到不同的表中，以减少单表存储时的压力，提高读取与写入的性能。

3.Mycat快速搭建

　　1.在搭建Mycat时，我们需要预先准备三个配置文件，它们的文件名分别是server.xml、rule.xml和schema.xml。

　　server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
    <property name="useSqlStat">0</property>  <!-- 1为开启实时统计、0为关闭 -->
    <property name="useGlobleTableCheck">0</property>  <!-- 1为开启全加班一致性检测、0为关闭 -->

        <property name="sequnceHandlerType">2</property>
      <!--  <property name="useCompression">1</property>--> <!--1为开启mysql压缩协议-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--设置模拟的MySQL版本号-->
    <!-- <property name="processorBufferChunk">40960</property> -->
    <!-- 
    <property name="processors">1</property> 
    <property name="processorExecutor">32</property> 
     -->
        <!--默认为type 0: DirectByteBufferPool | type 1 ByteBufferArena-->
        <property name="processorBufferPoolType">0</property>
        <!--默认是65535 64K 用于sql解析时最大文本长度 -->
        <!--<property name="maxStringLiteralLength">65535</property>-->
        <!--<property name="sequnceHandlerType">0</property>-->
        <!--<property name="backSocketNoDelay">1</property>-->
        <!--<property name="frontSocketNoDelay">1</property>-->
        <!--<property name="processorExecutor">16</property>-->
        <!--
            <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
            <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
            <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
        <!--分布式事务开关，0为不过滤分布式事务，1为过滤分布式事务（如果分布式事务内只涉及全局表，则不过滤），2为不过滤分布式事务,但是记录分布式事务日志-->
        <property name="handleDistributedTransactions">0</property>
        
            <!--
            off heap for merge/order/group/limit      1开启   0关闭
        -->
        <property name="useOffHeapForMerge">1</property>

        <!--
            单位为m
        -->
        <property name="memoryPageSize">1m</property>

        <!--
            单位为k
        -->
        <property name="spillsFileBufferSize">1k</property>

        <property name="useStreamOutput">0</property>

        <!--
            单位为m
        -->
        <property name="systemReserveMemorySize">384m</property>


        <!--是否采用zookeeper协调切换  -->
        <property name="useZKSwitch">true</property>


    </system>
    
    <!-- 全局SQL防火墙设置 -->
    <!-- 
    <firewall> 
       <whitehost>
          <host host="127.0.0.1" user="mycat"/>
          <host host="127.0.0.2" user="mycat"/>
       </whitehost>
       <blacklist check="false">
       </blacklist>
    </firewall>
    -->
    
    <user name="root">
        <property name="password">123456</property>
        <property name="schemas">dm_order</property>
        
        <!-- 表级 DML 权限设置 -->
        <!--         
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>        
         -->
    </user>
</mycat:server>

　　rule.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
     <tableRule name="auto-sharding-rang-mod-order">
    <rule>
        <columns>id</columns>
        <algorithm>rang-mod-dm</algorithm>
    </rule>
</tableRule>
<function name="rang-mod-dm"  class="io.mycat.route.function.PartitionByMod">
    <property name="count">3</property>
</function>
</mycat:rule>

　　

　　schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <schema name="dm_order"  checkSQLschema="true" sqlMaxLimit="100">
       <table name="dm_order" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2,dn3"
        rule="auto-sharding-rang-mod-order"/>
    </schema>

<dataNode name="dn1"   dataHost="a"  database="dm_order1"/>

<dataNode name="dn2"   dataHost="a"  database="dm_order2"/>
<dataNode name="dn3"   dataHost="a"  database="dm_order3"/>
<dataHost  name="a"   maxCon="1000"  minCon="10"  balance="0"
    writeType="0"   dbType="mysql"
        dbDriver="native" switchType="1"  slaveThreshold="100">
    <heartbeat>select 1</heartbeat>
<!--注意下方的“url”中的IP地址应改为对应你的ubantu系统的IP地址-->
    <writeHost host="hostM1"
        url="192.168.115.158:3306" user="root" password="123456">
    </writeHost>
</dataHost>
</mycat:schema>

　　

　　2.接下来将这些文件复制到linux的root目录下，使用Xftp进行文件的传输

　　3.将宿主机中的三个xml文件复制到mycat容器中的/usr/local/mycat/conf目录，使用Xshell进行相关的操作

root@ubuntu:~# docker cp server.xml springcloudv20_mycat_1:/usr/local/mycat/conf 
root@ubuntu:~# docker cp rule.xml springcloudv20_mycat_1:/usr/local/mycat/conf 
root@ubuntu:~# docker cp schema.xml springcloudv20_mycat_1:/usr/local/mycat/conf

　　如下图

　　最后，重启Mycat容器。至此，Mycat的配置已基本完成，接下来进行相关的测试

4.Mycat相关测试

　　首先我们先连接Mycat的逻辑库，使用配置文件schema.xml中的设定好的账号密码连接MySql数据库，端口号为8066.

　　连接成功后数据库内部的表如下图所示：

　

　　接下来连接本地的数据库，端口号为3306。

　　连接成功后数据库内部的我们需要的表如下图所示：

　

　　最后我们在逻辑库中的表dm_order随意添加复数条的数据，然后刷新本地库的表，就可以看到，之前在逻辑库中存储的数据已经自动被分别保存在不同的表中。

5.springboot+mybatis实现分库分表

 　　使用老师发给我们的项目文件，在运行后，与网址中输入相应的地址http://localhost:9090/addOrder.do并给予参数，然后刷新数据库中的表，可以查看添加的成果。