zoukankan      html  css  js  c++  java

  • Amoeba For MySQL入门：实现数据库水平切分

          当系统数据量发展到一定程度后，往往需要进行数据库的垂直切分和水平切分，以实现负载均衡和性能提升，而数据切分后随之会带来多数据源整合等等问题。如果仅仅从应用程序的角度去解决这类问题，无疑会加重应用程度的复杂度，因此需要一个成熟的第三方解决方案。

    Amoeba正是解决此类问题的一个开源方案，Amoeba位于应用程序和数据库服 务器之间，相当于提供了一个代理，使得应用程序只要连接一个Amoeba，相当于只是在操作一个单独的数据库服务器，而实际上却是在操作多个数据库服务 器，这中间的工作全部交由Amoeba去完成。

    本文针对基于MySQL的水平切分的实现机制，讲解Amoeba For MySQL的简单应用。

    一、背景介绍

    使用数据库：MySQL

    数据库节点1：127.0.0.1

    数据库节点2：10.167.157.176

    数据库名：yunzhu

    切分的表：用户表（user_info）

    切分的参数：用户ID（USERID）

    切分规则：

    用户ID小于等于100的数据存到数据库节点1，

    用户ID大于100的数据存到数据库节点2

    user_info表结构如下：

    Sql代码  
    1. CREATE TABLE `user_info` (  
    2.     `USERID` INT(10) NOT NULL DEFAULT '0',  
    3.     `USERNAME` VARCHAR(50) NULL DEFAULT NULL,  
    4.     PRIMARY KEY (`USERID`)  
    5. )  

    数据库节点1中user_info表中的数据：

    +--------+-----------+ | USERID | USERNAME  | +--------+-----------+ |     73 | Chen Feng | |     88 | China     | +--------+-----------+

    数据库节点1中user_info表中的数据：

    +--------+----------+ | USERID | USERNAME | +--------+----------+ |    108 | Jiang Su | |    200 | NanJing  | +--------+----------+

    Amoeba版本：

    amoeba-mysql-binary-2.2.0

    下载地址：

    http://nchc.dl.sourceforge.net/project/amoeba/Amoeba%20for%20mysql/2.2.x/amoeba-mysql-binary-2.2.0.tar.gz

    下载后直接解压即可使用

    二、配置Amoeba

    配置文件全部位于conf目录下

    1、amoeba.xml

    配置连接Amoeba程序的用户名和密码：

    Xml代码  
    1. <property name="user">root</property>  
    2. <property name="password">chenfeng123</property>  

    2、dbServers.xml

    先配置一个抽象的父节点，定义多个数据库节点的共通的信息，包括数据库节点的端口、schema、用户名和密码：

    Xml代码  
    1. <dbServer name="abstractServer" abstractive="true">  
    2.     <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">  
    3.         ......  
    4.               
    5.         <!-- mysql port -->  
    6.         <property name="port">3306</property>  
    7.           
    8.         <!-- mysql schema -->  
    9.         <property name="schema">yunzhu</property>  
    10.           
    11.         <!-- mysql user -->  
    12.         <property name="user">root</property>  
    13.           
    14.         <!--  mysql password -->  
    15.         <property name="password">chenfeng</property>  
    16.     </factoryConfig>  
    17.       ......  
    18. </dbServer>  

      再配置两个数据库节点，继承上面的父节点，然后配置各自的IP地址即可：

    Xml代码  
    1. <dbServer name="server1"  parent="abstractServer">  
    2.     <factoryConfig>  
    3.         <!-- mysql ip -->  
    4.         <property name="ipAddress">127.0.0.1</property>  
    5.     </factoryConfig>  
    6. </dbServer>  
    7.   
    8. <dbServer name="server2"  parent="abstractServer">  
    9.     <factoryConfig>  
    10.         <!-- mysql ip -->  
    11.         <property name="ipAddress">10.167.157.176</property>  
    12.     </factoryConfig>  
    13. </dbServer>  

    3、rule.xml

      配置切分规则：

         1、schema指定数据库名，name指定表名，defaultPools指定关联的数据库节点（指定哪几个节点就从哪几个节点里面查数据）

         2、切分规则：

             1）用户ID小于100的数据存到数据库节点1

             2）用户ID大于100的数据存到数据库节点2

    Xml代码  
    1. <amoeba:rule xmlns:amoeba="http://amoeba.meidusa.com/">  
    2.     <tableRule name="user_info" schema="yunzhu" defaultPools="server1,server2">  
    3.         <rule name="rule1">  
    4.             <parameters>USERID</parameters>  
    5.             <expression><![CDATA[ USERID <= 100]]></expression>  
    6.             <defaultPools>server1</defaultPools>  
    7.             <readPools>server1</readPools>  
    8.             <writePools>server1</writePools>  
    9.         </rule>  
    10.         <rule name="rule2">  
    11.             <parameters>USERID</parameters>  
    12.             <expression><![CDATA[ USERID > 100 ]]></expression>  
    13.             <defaultPools>server2</defaultPools>  
    14.             <writePools>server2</writePools>  
    15.             <readPools>server2</readPools>  
    16.         </rule>  
    17.     </tableRule>        
    18. </amoeba:rule>  

    三、运行及验证

    1、启动Amoeba

    通过bin目录下的amoeba.bat启动：

    Dos代码  
    1. amoeba start  

    启动后控制台打印如下信息，可以看到：

    Dos代码  
    1. log4j:WARN log4j config load completed from file:D:JavaToolsamoeba-mysql-binar  
    2. y-2.2.0in..conflog4j.xml  
    3. 2013-01-08 09:32:27,765 INFO  context.MysqlRuntimeContext - Amoeba for Mysql cur  
    4. rent versoin=5.1.45-mysql-amoeba-proxy-2.2.0  
    5. log4j:WARN ip access config load completed from file:D:JavaToolsamoeba-mysql-b  
    6. inary-2.2.0in../conf/access_list.conf  
    7. 2013-01-08 09:32:27,921 INFO  net.ServerableConnectionManager - Amoeba for Mysql  
    8.  listening on 0.0.0.0/0.0.0.0:8066.  
    9. 2013-01-08 09:32:27,921 INFO  net.ServerableConnectionManager - Amoeba Monitor S  
    10. erver listening on /127.0.0.1:40170.  

    2、连接Amoeba

    通过mysql客户端连接Amoeba，端口指定为8066，然后还像以前操作MySQL一样进行操作：

    Dos代码  
    1. D:>mysql -P8066 -uroot -pchenfeng123  
    2. Welcome to the MySQL monitor.  Commands end with ; or g.  
    3. Your MySQL connection id is 21616774 to server version: 5.1.45-mysql-amoeba-prox  
    4. y-2.2.0  
    5.   
    6. Type 'help;' or 'h' for help. Type 'c' to clear the buffer.  
    7.   
    8. mysql>  

    3、验证数据的查询

    查询yunzhu库下的user_info表的数据，如下：

    Sql代码 
    1. mysql> select * from yunzhu.user_info;  
    2. +--------+-----------+  
    3. | USERID | USERNAME  |  
    4. +--------+-----------+  
    5. |    108 | Jiang Su  |  
    6. |    200 | NanJing   |  
    7. |     73 | Chen Feng |  
    8. |     88 | China     |  
    9. +--------+-----------+  
    10. 4 rows in set (0.02 sec)  

    可以看到，现在查到了两个数据库节点中的user_info表中的所有记录。

     

    4、验证数据的插入

    这里插入两条数据，一条USERID为55，另一条USERID为155，如下：

    Dos代码  
    1. mysql> insert into yunzhu.user_info(USERID,USERNAME) values(55,'test55');  
    2. Query OK, 1 row affected (0.13 sec)  
    3.   
    4. mysql> insert into yunzhu.user_info(USERID,USERNAME) values(155,'test155');  
    5. Query OK, 1 row affected (0.05 sec)  

    查询数据库节点1：

    Dos代码  
    1. D:>mysql -uroot -pchenfeng  
    2. Welcome to the MySQL monitor.  Commands end with ; or g.  
    3. Your MySQL connection id is 33 to server version: 5.0.18-nt  
    4.   
    5. Type 'help;' or 'h' for help. Type 'c' to clear the buffer.  
    6.   
    7. mysql> select * from yunzhu.user_info;  
    8. +--------+-----------+  
    9. | USERID | USERNAME  |  
    10. +--------+-----------+  
    11. |     55 | test55    |  
    12. |     73 | Chen Feng |  
    13. |     88 | China     |  
    14. +--------+-----------+  
    15. 3 rows in set (0.00 sec)  

    查询数据库节点2：

    Dos代码  
    1. D:>mysql -uroot -pchenfeng -h10.167.157.176  
    2. Welcome to the MySQL monitor.  Commands end with ; or g.  
    3. Your MySQL connection id is 34 to server version: 5.0.18-nt  
    4.   
    5. Type 'help;' or 'h' for help. Type 'c' to clear the buffer.  
    6.   
    7. mysql> select * from yunzhu.user_info;  
    8. +--------+----------+  
    9. | USERID | USERNAME |  
    10. +--------+----------+  
    11. |    108 | Jiang Su |  
    12. |    155 | test155  |  
    13. |    200 | NanJing  |  
    14. +--------+----------+  
    15. 3 rows in set (0.00 sec)  

    可以发现USERID为55的记录插入到了数据库节点1中，USERID为155的记录插入到了数据库节点2中。

    因为根据rule.xml中的切分规则，USERID小于等于100的的记录存在数据库节点1中，而大于100的则存在数据库节点2中。

    四、注意一些限制

    这是我在实践中发现的，刚开始不知道存在这样的限制，以致于浪费了很多时间，以为配置有问题，搞了很久才发现原来是因为这些限制才导致没有出现预期的结果，所以必须要注意：

    1、不管是查询和插入，每条都必须显式地指定数据库名（yunzhu），否则只会从一个数据库节点中查询数据，或者所有数据全部会插入一个数据库节点中。

    2、插入数据时，必须显式地指定列名，如“insert into yunzhu.user_info(USERID,USERNAME)”，否则切分规则不会生效，所有记录都会插入到一个数据库节点中。
  • 相关阅读:
    Python自动化开发从浅入深-语言基础
    Python自动化开发从浅入深-初识Python
    python访问mysql
    列表和元组核心办法
    字典核新方法
    字符串的核心应用
    个人总结：字典并非完全无序
    Python 基础【二】 下
    Python 基础【二】 上
    windows开发的python移植到linux的问题
  • 原文地址：https://www.cnblogs.com/ywcz060/p/3453549.html
Copyright © 2011-2022 走看看