Heartbeat实现web服务器高可用

一、Heartbeat概述:

　　Heartbeat的工作原理：heartbeat最核心的包括两个部分，心跳监测部分和资源接管部分，心跳监测可以通过网络链路和串口进行，而且支持冗余链路，它们之间相互发送报文来告诉对方自己当前的状态，如果在指定的时间内未收到对方发送的报文，那么就认为对方失效，这时需启动资源接管模块来接管运行在对方主机上的资源或者服务。

Heartbeat-3.X版本以后被分为了4个模块，这些安装包都可以从官网：
　　http://www.linux-ha.org/wiki/Downloads下载得到：
目前的这些版本是：
　　ClusterLabs-resource-agents-v3.9.2-0-ge261943.tar.gz #集群实验资源代理
　　Heartbeat-3-0-7e3a82377fa8.tar.bz2 # 心跳主程序包
　　pacemaker-1.1.9-1512.el6.src.rpm # 起搏器
　　Reusable-Cluster-Components-glue--glue-1.0.9.tar.bz2 #可重复使用的群集组件

扩展： 谁管理着TCP/UDP公共服务的端口定义
　　IANA 就是指(Internet Assigned Numbers Authority) ，Internet号分配的机构。负责对IP地址分配规划以及对TCP/UDP公共服务的端口定义。
　　IANA的所有任务可以大致分为三个类型：
　　　　一、域名。IANA管理DNS域名根和.int，.arpa域名以及IDN（国际化域名）资源。
　　　　二、数字资源。IANA协调全球IP和AS（自治系统）号并将它们提供给各区域Internet注册机构。
　　　　　　注： AS自治系统号，是BGP路由协议中的号。
　　　　三、协议分配。IANA与各标准化组织一同管理协议编号系统。
　　官网：http://www.iana.org/

二、实战:使用Heartbeat实现web服务器高可用

主机名	ip地址	系统	角色
docker-01	192.168.1.220	CentOS Linux release 7.4.1708 (Core)	主
docker-02	192.168.1.221	CentOS Linux release 7.4.1708 (Core)	备
docker-03	192.168.1.222	CentOS Linux release 7.4.1708 (Core)	NFS

2.准备工作：docker-01、docker-02

[root@docker-01 ha.d]# hostname
docker-01
[root@docker-02 ha.d]# hostname
docker-02
[root@docker-02 ha.d]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.1.220   docker-01
192.168.1.221   docker-02
关防火墙,关掉selinux
[root@docker-02 ha.d]# setenforce 0
[root@docker-02 ha.d]# systemctl stop firewalld && systemctl disable firewalld

3、配置docker-03为NFS服务器，提供存储资源　　

[root@docker-03 ~]# yum install nfs-utils rpcbind
[root@docker-03 ~]# mkdir /wwwdir
[root@docker-03 ~]# echo 'Heartbeat web test'> /wwwdir/index.html
[root@docker-03 ~]# cat /wwwdir/index.html
Heartbeat web test
[root@docker-03 ~]# vi /etc/exports
/wwwdir 192.168.1.0/24(rw)
[root@docker-03 ~]# chmod 777 -R /wwwdir/
[root@docker-03 ~]# ll -d /wwwdir/
drwxrwxrwx 2 root root 24 2月  25 20:11 /wwwdir/
[root@docker-03 ~]# systemctl start nfs
[root@docker-03 ~]# systemctl enable nfs
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.
[root@docker-03 ~]# showmount -e
Export list for docker-03:
/wwwdir 192.168.1.0/24

4、docker-01、docker-02测试nfs 存储挂载并安装httpd web服务器(基本操作是一致)

[root@docker-01 ~]# yum install nfs-utils httpd -y
[root@docker-01 ~]# systemctl start nfs
[root@docker-01 ~]# showmount -e 192.168.1.222
Export list for 192.168.1.222:
/wwwdir 192.168.1.0/24
[root@docker-01 ~]# mount -t nfs 192.168.1.222:/wwwdir /var/www/html/
[root@docker-01 ~]# df -h
文件系统                 容量  已用  可用 已用% 挂载点
/dev/mapper/centos-root   19G  2.1G   17G   11% /
devtmpfs                 226M     0  226M    0% /dev
tmpfs                    237M     0  237M    0% /dev/shm
tmpfs                    237M  8.7M  228M    4% /run
tmpfs                    237M     0  237M    0% /sys/fs/cgroup
/dev/sda1                247M  105M  142M   43% /boot
tmpfs                     48M     0   48M    0% /run/user/0
192.168.1.222:/wwwdir     19G  1.9G   17G   10% /var/www/html
[root@docker-01 ~]# systemctl restart httpd
[root@docker-01 ~]# systemctl enable httpd
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.
#卸载资源：后期这些资源通过heartbeat直接加载
[root@docker-01 ~]# umount /var/www/html/
[root@docker-01 ~]# systemctl stop httpd
[root@docker-01 ~]# systemctl disable httpd

docker-01安装heartbeat

同步时间

[root@docker-01 ~]# crontab -l
*/5 * * * *     /usr/sbin/ntpdate ntp1.aliyun.com
[root@docker-02 ~]# crontab -l
*/5 * * * *     /usr/sbin/ntpdate ntp1.aliyun.com

配置主机间ssh互信，免密钥认证

5、开始安装

• 安装基础环境包：

yum install gcc gcc-c++ autoconf automake libtool glib2-devel libxml2-devel bzip2 bzip2-devel e2fsprogs-devel libxslt-devel libtool-ltdl-devel asciidoc

• 创建用户和组

groupadd haclient
useradd -g haclient hacluster

• 下载软件包：Reusable-Components-glue、resource-agents、heartbeat

http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/958e11be8686.tar.bz2
http://hg.linux-ha.org/glue/archive/0a7add1d9996.tar.bz2
https://github.com/ClusterLabs/resource-agents/archive/v3.9.6.tar.gz

• 安装glue

tar xf 0a7add1d9996.tar.bz2
cd Reusable-Cluster-Components-glue--0a7add1d9996/
./autogen.sh
./configure --prefix=/usr/local/heartbeat --with-daemon-user=hacluster --with-daemon-group=haclient --enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1'
make && make install
echo $?
cd ..

• 安装Resource Agents

tar xf v3.9.6.tar.gz
cd resource-agents-3.9.6/
./autogen.sh 
./configure --prefix=/usr/local/heartbeat --with-daemon-user=hacluster --with-daemon-group=haclient --enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1'
make && make install
echo $?
cd ..

• 安装HeartBeat

tar xf 958e11be8686.tar.bz2
cd Heartbeat-3-0-958e11be8686/
./bootstrap
export CFLAGS="$CFLAGS -I/usr/local/heartbeat/include -L/usr/local/heartbeat/lib"
./configure --prefix=/usr/local/heartbeat --with-daemon-user=hacluster --with-daemon-group=haclient --enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1'
make && make install
echo $?

• 配置网卡支持插件文件

mkdir -pv /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/
cp /usr/lib/ocf/lib/heartbeat/ocf-* /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/

#注意：一般启动时会报错因为 ping和ucast这些配置都需要插件支持 需要将lib64下面的插件软连接到lib目录 才不会抛出异常

ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/RAExec/* /usr/local/heartbeat/lib/heartbeat/plugins/RAExec/
ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/* /usr/local/heartbeat/lib/heartbeat/plugins/

#以上在docker-01上安装完成，在docker-02上执行以上同样的步骤

配置heartbeat

#拷贝三个模版配置文件到 /usr/local/heartbeat/etc/ha.d 目录下 

cp doc/{ha.cf,haresources,authkeys} /usr/local/heartbeat/etc/ha.d/

配置ha.cf配置文件

#该配置文件用于配置 心跳的核心配置

[root@docker-01 ~]# cat /usr/local/heartbeat/etc/ha.d/ha.cf
debugfile /var/log/ha-debug  #表示调试的日志文件 一般测试建议开启
logfile /var/log/ha-log  #表示系统的的日志文件路径
logfacility     local0  #表示使用系统日志与上面只能开启一个
keepalive 2  #主备之间的心跳间隔时间单位:s
deadtime 30  #表示如果连接对方30s还无法连接，表示节点死亡需要考虑vip转移
warntime 10  #表示10s时间未收到心跳时发出警告日志
initdead 120  #有时机器启动后需要一段时间网卡才能正常工作 需要预留一定的时间后，再开始判断心跳检测
udpport 694  #多播的udp端口
#baud   19200  #串行端口的波特率
#serial /dev/ttyS0      # Linux  #串口的接口名
#serial /dev/cuaa0      # FreeBSD
#serial /dev/cuad0      # FreeBSD 6.x
#serial /dev/cua/a      # Solaris
#bcast  eth0            # Linux #传播心跳的广播网卡信息
#bcast  eth1 eth2       # Linux
#bcast  le0             # Solaris
#bcast  le1 le2         # Solaris
#mcast eth0 225.0.0.1 694 1 0  #多播传送心跳的网卡 多播组 端口 跃点数 是否回环内传送
ucast ens33 192.168.1.220 #设置单播心跳，设置对方的ip地址,此处使用单播
auto_failback on  #表示如果主机停止后，从机接管设置为on当主机从新启动后，主机立即接管vip off从机不会释放vip给主机
node    docker-01  #配置主从的节点信息，要与uname -n保持一致
node    docker-02
#############################################
#使用ping模式 有时当主机挂掉或者heartbeat挂掉后vip才会转移  有时出现某个进程挂掉 切换需要使用脚本 
#ping模式用于测试 如果网卡ping不同 某个主机 就认为当前断网 需要转移vip 
#respawn root     /usr/local/heartbeat/libexec/heartbeat/ipfail 表示当ping不通时 自动调用 ipfail这个脚本
#apiauth ipfail gid=haclient uid=hacluster 表示有权限操作ipfail脚本的组和用户
############################################
ping 192.168.1.1  #通过ping网关检测心跳是否正常，仅用来测试网络
#ping组的所有主机
#ping_group group1 10.10.10.254 10.10.10.253
#respawn userid /path/name/to/run
#指定与heartbeat一同启动和关闭的进程，该进程被自动监视，遇到故障则重新启动。最常用的进程是ipfail，该进程用于检测和处理网络故障，需要配合ping语句指定的ping node来检测网络连接。如果你的系统是64bit，请注意该文件的路径。
#respawn hacluster /usr/local/heartbeat/libexec/heartbeat/ipfail
#apiauth ipfail gid=haclient uid=hacluster ##设置启动IPfail的用户和组

配置authkeys配置文件

#该文件表示发送心跳时 机器用于验证的key的hash算法，节点之间必须配置成一致的密码

[root@docker-01 ~]# cat /usr/local/heartbeat/etc/ha.d/authkeys
auth 2  #表示使用id为2的验证 下边需要定义一个2的验证算法 
2 sha1 1a2b3c  #ID 2的验证加密为shal,并添加密码
或者
auth 3
3 md5 Hello!
注:auth后填序号，可任意填写，但第二行开头必须为序号名，然后为验证方式，支持三种( crc md5 sha1 )方式验证，最后面是自定义密钥。我应该选哪种验证？
如果Heartbeat运行于安全网络之上，如本例中的交叉线，可以使用crc，从资源的角度来看，这是代价最低的方法。如果网络并不安全，但也希望降低CPU使用，则使用md5。最后，如果想得到最好的认证，而不考虑CPU使用情况，则使用sha1，它在三者之中最难破解。

更改权限为600

chmod 600 /usr/local/heartbeat/etc/ha.d/authkeys

配置haresources配置文件

#该文件表示资源的管理，如果是主机，当主机启动后自动加载该文件中配置的所有启动资源，资源脚本默认在haresources同级目录下的resource.d目录下

[root@docker-01 ~]# cat /usr/local/heartbeat/etc/ha.d/haresources
#指定节点主机名，和VIP地址，以双冒号分隔资源，此处以apache为例进行配置
docker-01 192.168.1.230 apache::/etc/httpd/conf/httpd.conf

docker-02上准备配置文件

#拷贝三个配置好的文件到docker-02上，只需修改ha.cf配置文件中的单播地址为对方地址即可(ucast ens33 192.168.1.220)。

安装httpd资源服务

#在两个节点上安装httpd服务并测试

yum install httpd
echo "<h1>Heartbeat web test</h1>" >>/var/www/html/index.html
systemctl start httpd

测试httpd服务正常后关闭httpd服务并关闭自启动

systemctl stop httpd
systemctl disable httpd

.启动服务

#启动每个节点上heartbeat服务

systemctl enable heartbeat
systemctl start heartbeat
ssh docker-02 'systemctl start heartbeat'

测试结果

[root@docker-01 ~]# curl 192.168.1.230
Heartbeat web test
#使用heartbeat自带脚本切换主备节点
[root@docker-01 ~]# /usr/local/heartbeat/share/heartbeat/hb_standby
Going standby [all].
[root@docker-01 ~]# curl 192.168.1.230
Heartbeat web test