centos下mysql集群初尝试

原文：http://www.lvtao.net/database/mysql-cluster.html

五台服务器篇

安装要求

安装环境：CentOS-6.3
安装方式：源码编译安装
软件名称：mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
下载地址：http://mysql.mirror.kangaroot.net/Downloads/
软件安装位置：/usr/local/mysql
数据存放位置：/var/mysql/data
日志存放位置：/var/mysql/logs

集群设计

首先设计集群的安装分配方式，我共需要5台服务器，服务器分配如下：
管理节点：    192.168.15.231
sql节点1：   192.168.15.232
sql节点2：   192.168.15.233
数据节点1：  192.168.15.234
数据节点2：  192.168.15.235
设备的连接方式如下图所示：

注意：目前这种设计存在的问题是管理节点是单点的，231挂掉后整个集群就会瘫痪，先不管这个问题，首先把这个简单的MySQL集群先搭建起来。

<h3">
检查安装的mysql

检查系统中已经安装过的mysql信息，操作如下：

[root@localhost /]# rpm -qa | grep mysql
[root@localhost /]# service mysql status

如果安装过其他版本的mysql，请卸载，操作如下：

[root@localhost /]# /etc/init.d/mysqld    stop  //关闭目前的mysql服务
[root@localhost /]# ps    -ef | grep mysql  //检验mysql是否已经关闭
#如果没关闭，执行kill -9 端口号
#执行删除
rpm -e --allmatches    --nodeps mysql mysql-server
rm -rf /var/lib/mysql  // 删除mysql的安装目录

管理节点

管理节点安装

安装管理节点（192.168.15.231）

[root@localhost /]#    groupadd mysql
[root@localhost /]#  useradd mysql -g mysql
[root@localhost /]# cd    /usr/local
[root@localhost local]#    tar -zxv -f mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
[root@localhost local]#    mv mysql-cluster-gpl-7.2.6-linux2.6-x86_64 mysql
[root@localhost local]#    chown -R mysql:mysql mysql
[root@localhost local]#    cd mysql
[root@localhost mysql]#    scripts/mysql_install_db --user=mysql

管理节点配置

[root@localhost ~]#  mkdir /var/lib/mysql-cluster
[root@localhost ~]# cd    /var/lib/mysql-cluster
[root@localhost mysql-cluster]#    vi + /var/lib/mysql-cluster/config.ini

在config.ini 中添加以下内容:

[NDBD DEFAULT]
NoOfReplicas=1
[TCP DEFAULT]
portnumber=3306
[NDB_MGMD]
#设置管理节点服务器
HostName=192.168.15.231
DataDir=/var/mysql/data
[NDBD]
#设置存储节点服务器(NDB节点)
HostName=192.168.15.234
DataDir=/var/mysql/data
[NDBD]
#第二个NDB节点
HostName=192.168.15.235
DataDir=/var/mysql/data
[MYSQLD]
#设置SQL节点服务器
HostName=192.168.15.232
[MYSQLD]
#第二个SQL节点
HostName=192.168.15.233

管理节点启动

[root@localhost ~]#/usr/local/mysql/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini
[root@localhost ~]# mkdir  /var/mysql/logs
[root@localhost ~]# netstat -lntpu

看到tcp 0 0 0.0.0.0:1186开放说明启动正常
开启管理节点服务器的1186端口

管理节点检验

执行以下操作：

[root@localhost /]# ndb_mgm     // 管理节点
-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at:    localhost:1186
Cluster Configuration
---------------------
[ndbd(NDB)]        2 node(s)
id=2 (not connected, accepting connect from    192.168.15.234)
id=3 (not connected, accepting connect from    192.168.15.235)

[ndb_mgmd(MGM)] 1 node(s)
id=1       @192.168.15.231  (mysql-5.5.22    ndb-7.2.6)

[mysqld(API)]      2 node(s)
id=4 (not connected, accepting connect from    192.168.15.232)
id=5 (not connected, accepting connect from    192.168.15.233)

管理节点关闭

[root@localhost /]#    /usr/local/mysql/bin/ndb_mgm -e shutdown
#成功后终端打印出以下信息
Connected to Management    Server at: 192.168.15.236:1186
3 NDB Cluster node(s)    have shutdown.
Disconnecting to allow    management server to shutdown.

数据节点

数据节点安装

数据节点1： 192.168.15.234
数据节点2： 192.168.15.235

[root@localhost /]#    groupadd mysql
[root@localhost /]#    useradd mysql -g mysql
[root@localhost /]# cd    /usr/local
[root@localhost local]#    tar -zxv -f mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
[root@localhost local]#    mv mysql-cluster-gpl-7.2.6-linux2.6-x86_64 mysql
[root@localhost local]#    chown -R mysql:mysql mysql
[root@localhost local]#    cd mysql
[root@localhost mysql]#    scripts/mysql_install_db --user=mysql
[root@localhost mysql]#    cp support-files/my-medium.cnf /etc/my.cnf
[root@localhost mysql]#    cp support-files/mysql.server /etc/init.d/mysqld

数据节点配置

对数据节点进行配置，执行以下操作：

[root@localhost mysql]#    mkdir /var/mysql/data
[root@localhost mysql]#    mkdir /var/mysql/logs
[root@localhost mysql]#    vi /etc/my.cnf

向文件追加以下内容：

[MYSQLD]
ndbcluster
ndb-connectstring=192.168.15.231
[MYSQL_CLUSTER]
ndb-connectstring=192.168.15.231
[NDB_MGM]
connect-string=192.168.15.231

数据节点启动

启动此处时，管理节点服务器防火墙必须开启1186,3306端口。
注意：只是在第一次启动或在备份／恢复或配置变化后重启ndbd时，才加–initial参数！
第一次启动如下：

[root@localhost mysql]#/usr/local/mysql/bin/ndbd --initial
2013-01-30 13:43:53    [ndbd] INFO     -- Angel connected to    '192.168.15.231:1186'
2013-01-30 13:43:53    [ndbd] INFO     -- Angel allocated    nodeid: 2

正常启动方式：

[root@localhost mysql]# /usr/local/mysql/bin/ndbd

数据节点关闭

[root@localhost /]# /etc/rc.d/init.d/mysqld stop

或者

[root@localhost mysql]# /etc/init.d/mysql stop
Shutting down MySQL.. SUCCESS!

	/usr/local/mysql/bin/mysqladmin -uroot shutdown

SQL节点安装

SQL节点安装

SQL节点和存储节点(NDB节点)安装相同，都执行以下操作；
sql节点1： 192.168.15.232
sql节点2： 192.168.15.233

[root@localhost /]#    groupadd mysql
[root@localhost /]#    useradd mysql -g mysql
[root@localhost /]# cd    /usr/local
[root@localhost local]#    tar -zxv -f mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz
[root@localhost local]#    mv mysql-cluster-gpl-7.2.6-linux2.6-x86_64 mysql
[root@localhost local]# chown    -R mysql:mysql mysql
[root@localhost local]#    cd mysql
[root@localhost mysql]#    scripts/mysql_install_db --user=mysql
[root@localhost mysql]#    cp support-files/my-medium.cnf /etc/my.cnf
[root@localhost mysql]#    cp support-files/mysql.server /etc/init.d/mysqld

SQL节点配置

执行以下操作：

[root@localhost mysql]#    mkdir /var/mysql/data     //创建存储数据的文件夹
[root@localhost mysql]#    mkdir /var/mysql/logs     //创建存储日志的文件夹
[root@localhost mysql]#    vi /usr/local/mysql/my.cnf  //修改配置文件

追加以下内容：

[MYSQLD]
ndbcluster
ndb-connectstring=192.168.15.231
[MYSQL_CLUSTER]
ndb-connectstring=192.168.15.231
[NDB_MGM]
connect-string=192.168.15.231

SQL节点启动

执行以下操作：

[root@localhost    mysql]# service mysqld start
Starting    MySQL.. SUCCESS!

SQL节点关闭

最直接的方式：

[root@localhost mysql]# /usr/local/mysql/bin/mysqladmin    -uroot shutdown

[root@localhost /]# /etc/rc.d/init.d/mysqld stop

或者

[root@localhost mysql]# /etc/init.d/mysql stop
Shutting down MySQL.. SUCCESS!

功能测试

在管理节点（192.168.15.231）上查看服务状态

[root@localhost ~]#    /usr/local/mysql/bin/ndb_mgm

-- NDB Cluster -- Management Client --
ndb_mgm> show
Cluster Configuration
---------------------
[ndbd(NDB)]        2 node(s)
id=2       @192.168.15.234  (mysql-5.5.22    ndb-7.2.6, Nodegroup: 0, Master)
id=3       @192.168.15.235  (mysql-5.5.22    ndb-7.2.6, Nodegroup: 1)

[ndb_mgmd(MGM)] 1 node(s)
id=1       @192.168.15.231  (mysql-5.5.22    ndb-7.2.6)

[mysqld(API)]      2 node(s)
id=4       @192.168.15.232  (mysql-5.5.22    ndb-7.2.6)
id=5       @192.168.15.233  (mysql-5.5.22    ndb-7.2.6)

可以看到这里的数据节点、管理节点、sql节点都是正常的。
注意：

1. 在建表的时候一定要用ENGINE=NDB或ENGINE=NDBCLUSTER指定使用NDB集群存储引擎，或用ALTER TABLE选项更改表的存储引擎。
2. NDB表必须有一个主键，因此创建表的时候必须定义主键，否则NDB存储引擎将自动生成隐含的主键。
3. Sql节点的用户权限表仍然采用MYISAM存储引擎保存的，所以在一个Sql节点创建的MySql用户只能访问这个节点，如果要用同样的用户访
   问别的Sql节点，需要在对应的Sql节点追加用户。虽然在MySql Cluster7.2版本开始提供了”用户权限共享”。

数据同步性测试

在一个数据节点上进行相关数据库的创建，然后到另外一个数据节点上看看数据是否同步。

第1步：
SQL节点1（192.168.15.232）上增加数据：

[root@localhost    mysql]#  /etc/rc.d/init.d/mysqld status                //检验mysql是否运行
[root@localhost mysql]#    /etc/rc.d/init.d/mysqld start                   //启动mysql
[root@localhost mysql]#    /usr/local/mysql/bin/mysql -u root -p
Enter password:
mysql> show databases;
mysql> create database    testdb2;
mysql> use testdb2;
mysql> CREATE TABLE    td_test2 (i INT) ENGINE=NDB;
//这里必须指定数据库表的引擎为NDBCLUSTER，与配置文件中的名称相同
mysql> INSERT INTO    td_test2() VALUES (1);
mysql> INSERT INTO    td_test2() VALUES (152);
mysql> SELECT * FROM    td_test2;

第2步：
进入到SQL节点2（192.168.15.233）上查看数据

mysql> use testdb2;
Database changed
mysql> SELECT * FROM td_test2;
+------+
| i    |
+------+
|  126 |
|    1 |
+------+
2 rows in set (0.01 sec)

查看表的引擎是不是NDB：

>show create table td_test2;

第3步：
反向测试，SQL节点2（192.168.15.233）上增加数据：

mysql> create database    bb;
mysql> use bb;
mysql> CREATE TABLE    td_test3 (i INT) ENGINE=NDB;
mysql> INSERT INTO    td_test3 () VALUES (98);
mysql> SELECT * FROM    td_test3;

SQL节点1（192.168.15.232）上查看数据：

mysql>  use bb;
Database changed
mysql>  SELECT * FROM td_test3;
+------+
| i    |
+------+
|   98 |
+------+
1 row in set (0.00 sec)

关闭集群

先关闭管理节点，然后关闭SQL节点和数据节点。

集群启动操作顺序

要再次启动集群，按照以下顺序执行：
管理节点 -> 数据节点 –> SQL节点注意：此次启动数据节点时不要加”–initial”参数。 

安装及测试中的错误

启动中的错误

错误提示：
Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)
解决办法1（端口占用） netstat -anp |grep 3306
kill -9 进程号
解决办法1（权限问题） [root@localhost mysql]# chown -R mysql:mysql /var/mysql          //修改自定义文件夹的访问权限

三台服务器篇

一、介绍

========
这篇文档旨在介绍如何安装配置基于2台服务器的MySQL集群。并且实现任意一台服务器出现问题或宕机时MySQL依然能够继续运行。

注意！
虽
然这是基于2台服务器的MySQL集群，但也必须有额外的第三台服务器作为管理节点，但这台服务器可以在集群启动完成后关闭。同时需要注意的是
并不推荐在集群启动完成后关闭作为管理节点的服务器。尽管理论上可以建立基于只有2台服务器的MySQL集群，但是这样的架构，一旦一台服务器宕机之后集
群就无法继续正常工作了，这样也就失去了集群的意义了。出于这个原因，就需要有第三台服务器作为管理节点运行。

另外，可能很多朋友都没有3台服务器的实际环境，可以考虑在VMWare或其他虚拟机中进行实验。

下面假设这3台服务的情况： 

Server1: mysql1.vmtest.net 192.168.0.1
Server2: mysql2.vmtest.net 192.168.0.2
Server3: mysql3.vmtest.net 192.168.0.3

Servers1
和Server2作为实际配置MySQL集群的服务器。对于作为管理节点的Server3则要求较低，只需对Server3的系
统进行很小的调整并且无需安装MySQL，Server3可以使用一台配置较低的计算机并且可以在Server3同时运行其他服务。

二、在Server1和Server2上安装MySQL
=================================
从http://www.mysql.com上下载mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
注意：必须是max版本的MySQL，Standard版本不支持集群部署！

以下步骤需要在Server1和Server2上各做一次

# mv mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz /usr/local/
# cd /usr/local/
# groupadd mysql
# useradd -g mysql mysql
# tar -zxvf mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz 
# rm -f mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz 
# mv mysql-max-4.1.9-pc-linux-gnu-i686 mysql
# cd mysql 
# scripts/mysql_install_db --user=mysql 
# chown -R root  .
# chown -R mysql data
# chgrp -R mysql . 
# cp support-files/mysql.server /etc/rc.d/init.d/mysqld
# chmod +x /etc/rc.d/init.d/mysqld
# chkconfig --add mysqld 

此时不要启动MySQL！

三、安装并配置管理节点服务器(Server3)
=====================================
作为管理节点服务器，Server3需要ndb_mgm和ndb_mgmd两个文件：

从http://www.mysql.com上下载mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz

# mkdir /usr/src/mysql-mgm 
# cd /usr/src/mysql-mgm 
# tar -zxvf mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
# rm mysql-max-4.1.9-pc-linux-gnu-i686.tar.gz
# cd mysql-max-4.1.9-pc-linux-gnu-i686
# mv bin/ndb_mgm .
# mv bin/ndb_mgmd .
# chmod +x ndb_mg* 
# mv ndb_mg* /usr/bin/
# cd 
# rm -rf /usr/src/mysql-mgm

现在开始为这台管理节点服务器建立配置文件：

# mkdir /var/lib/mysql-cluster
# cd /var/lib/mysql-cluster
# vi config.ini

在config.ini中添加如下内容：

[NDBD DEFAULT]
NoOfReplicas=2 
[MYSQLD DEFAULT] 
[NDB_MGMD DEFAULT] 
[TCP DEFAULT]
# Managment Server
[NDB_MGMD]
HostName=192.168.0.3 #管理节点服务器Server3的IP地址
# Storage Engines 
[NDBD] 
HostName=192.168.0.1 #MySQL集群Server1的IP地址 
DataDir= /var/lib/mysql-cluster
[NDBD]
HostName=192.168.0.2 #MySQL集群Server2的IP地址
DataDir=/var/lib/mysql-cluster
# 以下2个[MYSQLD]可以填写Server1和Server2的主机名。
# 但为了能够更快的更换集群中的服务器，推荐留空，否则更换服务器后必须对这个配置进行更改。 
[MYSQLD] 
[MYSQLD] 

保存退出后，启动管理节点服务器Server3：
# ndb_mgmd

启动管理节点后应该注意，这只是管理节点服务，并不是管理终端。因而你看不到任何关于启动后的输出信息。

四、配置集群服务器并启动MySQL
=============================
在Server1和Server2中都需要进行如下改动：

# vi /etc/my.cnf 
[mysqld]
ndbcluster
ndb-connectstring=192.168.0.3 #Server3的IP地址
[mysql_cluster]
ndb-connectstring=192.168.0.3 #Server3的IP地址

保存退出后，建立数据目录并启动MySQL：

# mkdir /var/lib/mysql-cluster
# cd /var/lib/mysql-cluster
# /usr/local/mysql/bin/ndbd --initial
# /etc/rc.d/init.d/mysqld start

可以把/usr/local/mysql/bin/ndbd加到/etc/rc.local中实现开机启动。
注意：只有在第一次启动ndbd时或者对Server3的config.ini进行改动后才需要使用--initial参数！

五、检查工作状态
================
回到管理节点服务器Server3上，并启动管理终端：

# /usr/bin/ndb_mgm
键入show命令查看当前工作状态：（下面是一个状态输出示例）

[root@mysql3 root]# /usr/bin/ndb_mgm
-- NDB Cluster -- Management Client --
ndb_mgm> show
Connected to Management Server at: localhost:1186
Cluster Configuration
--------------------- 
[ndbd(NDB)]     2 node(s) 
id=2    @192.168.0.1  (Version: 4.1.9, Nodegroup: 0, Master) 
id=3    @192.168.0.2  (Version: 4.1.9, Nodegroup: 0)
[ndb_mgmd(MGM)] 1 node(s)
id=1    @192.168.0.3  (Version: 4.1.9)

[mysqld(API)]   2 node(s)
id=4   (Version: 4.1.9)
id=5   (Version: 4.1.9)

ndb_mgm>

如果上面没有问题，现在开始测试MySQL：
注意，这篇文档对于MySQL并没有设置root密码，推荐你自己设置Server1和Server2的MySQL root密码。

在Server1中：

# /usr/local/mysql/bin/mysql -u root -p
> use test;
> CREATE TABLE ctest (i INT) ENGINE=NDBCLUSTER;
> INSERT INTO ctest () VALUES (1);
> SELECT * FROM ctest; 

应该可以看到1 row returned信息（返回数值1）。

如果上述正常，则换到Server2上重复上面的测试，观察效果。如果成功，则在Server2中执行INSERT再换回到Server1观察是否工作正常。
如果都没有问题，那么恭喜成功！

六、破坏性测试
==============
将Server1或Server2的网线拔掉，观察另外一台集群服务器工作是否正常（可以使用SELECT查询测试）。测试完毕后，重新插入网线即可。

如果你接触不到物理服务器，也就是说不能拔掉网线，那也可以这样测试：
在Server1或Server2上：

# ps aux | grep ndbd
将会看到所有ndbd进程信息：

root      5578  0.0  0.3  6220 1964 ?        S    03:14   0:00 ndbd
root      5579  0.0 20.4 492072 102828 ?     R    03:14   0:04 ndbd
root     23532  0.0  0.1  3680  684 pts/1    S    07:59   0:00 grep ndbd

然后杀掉一个ndbd进程以达到破坏MySQL集群服务器的目的：

# kill -9 5578 5579

之后在另一台集群服务器上使用SELECT查询测试。并且在管理节点服务器的管理终端中执行show命令会看到被破坏的那台服务器的状态。
测试完成后，只需要重新启动被破坏服务器的ndbd进程即可：

# ndbd
注意！前面说过了，此时是不用加--inital参数的！

至此，MySQL集群就配置完成了！