读写分离之Atlas

1、atlas介绍

Atlas是由Qihoo 360公司Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基础上，修改了大量bug,添加了很多功能特性。目前该项目在360公司内部得到了广泛应用，很多MySQL业务已经接入了Atlas平台，每天承载的读写请求数达几十亿条。同时，有超过50家公司在生产环境中部署了Atlas，并且这些数字还在不断增加。

 

2、安装atlas

官方提供的Atlas有两种

  Atlas (普通) : Atlas-2.2.1.el6.x86_64.rpm

  Atlas (分表) : Atlas-sharding_1.0.1-el6.x86_64.rpm

 我们只需要下载普通的即可。

 安装步骤： 

 进入/usr/local目录，创建文件夹AtlasSrc

[root@localhost ~]# cd /usr/local/

[root@localhost local]# mkdir AtlasSrc

[root@localhost local]# cd AtlasSrc/

[root@localhost AtlasSrc]# 

将Atlas安装包复制进来目录AtlasSrc下(复制过程略)

安装atlas

rpm -i Atlas-2.2.1.el6.x86_64.rpm 

注意事项：

•  Atlas只能安装运行在64位的系统上

• 如果执行 rpm -i Atlas-XX.el6.x86_64.rpm ，提示类似”file /usr/local/mysql-proxy/bin/encrypt from install of Atlas-2.0.1-1.x86_64 conflicts with file from package Atlas-1.0.3-1.x86_64”，则表示该系统之前已经安装过Atlas-xxx.x86_64 ,需要执行rpm -e Atlas-xxx.x86_64 ,将之前安装的Atlas卸载掉，再执行rpm -i Atlas-xx.el6.x86_64安装新版本的Atlas

• 后端mysql版本应大于5.1，建议使用Mysql5.6

3、编辑配置文件

Atlas运行需要依赖一个配置文件(test.cnf)。在运行Atlas之前，需要对该文件进行配置。Atlas安装目录是/usr/local/mysql-proxy,进入安装目录下的conf目录，可以看到已经有一个名为test.cnf的默认配置文件，我们只需要修改里面的某些配置项，不需要从头写一个配置文件

配置范例及说明如下

[mysql-proxy]
(必备，默认值即可)管理接口的用户名
admin-username = user
(必备，默认值即可)管理接口的密码
admin-password = pwd
(必备，根据实际情况配置)主库的IP和端口
proxy-backend-addresses = 192.169.1.24:3306
(非必备，根据实际情况配置)从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔。如果想让主库也能分担读请求的话，只需要将主库信息加入下面的配置项中。
proxy-read-only-backend-addresses = 192.169.1.9:3306
(必备，根据实际情况配置) 用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，用户名与密码之间用冒号分隔。主从数据库上需要先创建该用户并设置密码(用户名和密码在主从数据库上要一致)。比如用户名myuser,密码为mypwd,执行./encrpty mypwd 结果为HJBoxfRsjeI=。如果有多个用户用逗号分离即可。则设置如下行所示：
pwds = myuser: HJBoxfRsjeI=,myuser2:HJBoxfRsjeI=
(必备，默认值即可)Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false,线上运行时设为true
daemon = true
(必备，默认值即可)设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor,一个为worker,monotor在worker意外退出后会自动将其重启，设为false时只有worker,没有monotor,一般开发调试时设为false,线上运行时设为true
keepalive = true
(必备，根据实际情况配置)工作线程数，推荐设置成系统的CPU核数
event-threads = 8
(必备，默认值即可)日志级别，分为message,warning,critical,error,debug五个级别
log-level = message
(必备，默认值即可)日志存放的路径
log-path = /usr/local/mysql-proxy/log
(必备，根据实际情况配置)SQL日志的开关，可设置为OFF、ON、REALTIME,OFF代表不记录日志，ON代表记录SQL日志，该模式下日志刷新是基于缓冲区的，当日志填满缓冲区后，才将日志信息刷到磁盘。REALTIME用于调试，代表记录SQL日志且实时写入磁盘，默认为OFF
sql-log = OFF
(可选项，可不设置)慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow(单位:ms)的日志记录。不设置该参数则输出全部日志。
sql-log-slow = 10
(可选项，可不设置)关闭不活跃的客户端连接设置。当设置了改参数时，Atlas会主动关闭经过'wait-timeout'时间后一直未活跃的连接。单位:秒
wait-timeout = 10
(必备，默认值即可)Atlas监听的工作接口IP和端口
proxy-address = 0.0.0.0:1234
(必备，默认值即可)Atlas监听的管理接口IP和端口
admin-address = 0.0.0.0:2345
(可选项，可不设置)分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项，子表需要事先建好，子表名称为表名_数字，数字范围为[0,字表数-1]，如本例里，子表名称为mt_0、mt_1、mt_2
tables = person.mt.id.3
(可选项，可不设置)默认字符集，若不设置该项，则默认字符集为latin1
charset = utf8
(可选项，可不设置)允许连接Atlas的客户端的IP,可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接
client-ips = 127.0.0.1, 192.168.1
(可选项，极少需要)Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP),若有LVS且设置了client-ips则此项必须设置，否则可以不设置
lvs-ips = 192.168.1.1

编辑配置文件

[mysql-proxy]

#带#号的为非必需的配置项目

#管理接口的用户名

admin-username = user

#管理接口的密码

admin-password = pwd

#Atlas后端连接的MySQL主库的IP和端口，可设置多项，用逗号分隔

proxy-backend-addresses = 192.169.1.20:3306

#Atlas后端连接的MySQL从库的IP和端口，@后面的数字代表权重，用来作负载均衡，若省略则默认为1，可设置多项，用逗号分隔

proxy-read-only-backend-addresses = 192.169.1.21:3306

#用户名与其对应的加密过的MySQL密码，密码使用PREFIX/bin目录下的加密程序encrypt加密，下行的user1和user2为示例，将其替换为你的MySQL的用户名和加密密码！

pwds = root:/iZxz+0GRoA=

#设置Atlas的运行方式，设为true时为守护进程方式，设为false时为前台方式，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。

daemon = true

#设置Atlas的运行方式，设为true时Atlas会启动两个进程，一个为monitor，一个为worker，monitor在worker意外退出后会自动将其重启，设为false时只有worker，没有monitor，一般开发调试时设为false，线上运行时设为true,true后面不能有空格。

keepalive = true

#工作线程数，对Atlas的性能有很大影响，可根据情况适当设置

event-threads = 4

#日志级别，分为message、warning、critical、error、debug五个级别

log-level = debug

#日志存放的路径

log-path = /usr/local/mysql-proxy/log

#SQL日志的开关，可设置为OFF、ON、REALTIME，OFF代表不记录SQL日志，ON代表记录SQL日志，REALTIME代表记录SQL日志且实时写入磁盘，默认为OFF

sql-log = ON

#慢日志输出设置。当设置了该参数时，则日志只输出执行时间超过sql-log-slow（单位：ms)的日志记录。不设置该参数则输出全部日志。

#sql-log-slow = 10

#实例名称，用于同一台机器上多个Atlas实例间的区分

#instance = test

#Atlas监听的工作接口IP和端口

proxy-address = 0.0.0.0:1234

#Atlas监听的管理接口IP和端口

admin-address = 0.0.0.0:2345

#分表设置，此例中person为库名，mt为表名，id为分表字段，3为子表数量，可设置多项，以逗号分隔，若不分表则不需要设置该项

#tables = person.mt.id.3

#默认字符集，设置该项后客户端不再需要执行SET NAMES语句

charset = utf8

#允许连接Atlas的客户端的IP，可以是精确IP，也可以是IP段，以逗号分隔，若不设置该项则允许所有IP连接，否则只允许列表中的IP连接

#client-ips = 127.0.0.1, 192.168.1

#Atlas前面挂接的LVS的物理网卡的IP(注意不是虚IP)，若有LVS且设置了client-ips则此项必须设置，否则可以不设置

#lvs-ips = 192.168.1.1

配置说明

1. 数据库密码

pwds项设置 ，进入/usr/local/mysql-proxy/bin目录，密码使用bin目录下的加密程序encrypt加密

 数据库的用户名是 root ,密码是123456，密码加密后是/iZxz+0GRoA=

所以密码配置为：

pwds = root:/iZxz+0GRoA=

2. 线程数

event-threads项设置，过小无法充分发挥多核cpu的性能，过大造成不必要的线程切换开销，推荐设置为cpu的核数

 

4、运行atlas

 启动atlas: /usr/local/mysql-proxy/bin/mysql-proxyd test start

 其他命令

 停止atlas : /usr/local/mysql-proxy/bin/mysql-proxyd test stop

 重启atlas : /usr/local/mysql-proxy/bin/mysql-proxyd test restart

 

注意

•  运行文件是：mysql-proxyd(不是mysql-proxy)

•  test是conf目录下配置文件的名字，也是配置文件里instance项的名字，三者需要统一。

•  可以使用ps -ef|grep mysql-proxy查看Atlas是否已经启动或停止

•  执行命令：mysql -h127.0.0.1 -P1234 -u数据库用户名 -p数据库密码，如果能连上则证明Atlas初步测试正常，可以再尝试发几条SQL语句看看执行结果是否正确。（这里登录的数据库用户是test.conf配置文件中pwds配置项配置的数据库用户

•  进入Atlas的管理界面的命令：mysql -h127.0.0.1 -P2345 -uuser -ppwd,进入后执行：select * from help;查看管理DB的各类命令。（这里配置的user和pwd是test.conf配置文件中admin-username,admin-password配置项配置的数据）

•  成功运行Atlas，如果通过设置的用户名和密码不能成功登录，提示错误：MySql Host is blocked because of many connection errors; unblock with 'mysqladmin flush-hosts'。解决方法如下:

 分别登录主从数据库，执行以下命令

set global max_connect_errors=100000;

flush hosts; 

启动后，使用客户端navigate for mysql连接成功

 

 

五、问题 

数据库连接atlas，程序中报如下异常信息:

方法getIdByPro的代码如下，PRO_GET_INT_ID是一个带出参的存储过程，因为通过atlas配置了读写分离，所以存储过程在主库中执行，而查询存储过程出参的查询语句在从库中执行，故而获取不到出参。

 

atlas日志：可以从日志看出存储过程在主库192.169.1.20上执行，查询出参语句在从库192.169.1.21上执行

修改后的代码为

代码修改后不再出现上述问题，获取存储过程出参成功

 

如何修改代码？

1、在调用带出参的存储过程的方法中，执行查询出参的语句，并在语句前加上/*master*/强制其走主库

 

2、出参名的命名为 "@com_mysql_jdbc_outparam_"+存储过程定义时的出参名

 比如定义存储过程PRO_GET_INT_ID时的出参名是GVALUE

 所以查询出参语句中的出参名是@com_mysql_jdbc_outparam_GVALUE,即

注意：

1. Atlas会屏蔽不带where条件的delete和update操作，以及sleep函数。

2. Atlas会屏蔽既有dml又有select的语句，如UPDATE LF_MON_ONLCFG SET ONLINENUM = (SELECT COUNT(*) FROM LF_MON_ONLUSER)。

解决方法：在语句前加上/*master*/强制其走主库

 

 

 参考地址

 Qihoo360/Atlas：https://github.com/Qihoo360/Atlas/blob/master/README_ZH.md