HA（High aviliable）高可用
高可用的需求
在很多公司里面，都会存在着一些不愿被中断的业务，但是由于硬件故障，软件故障，人为因素等各种因素，往往会不经意的造成我们重要的业务中断，因此高可用技术就由此而生。
评价的标准
A = MTBF / （MTBF + MTTR）
MTBF: Mean Time Between Failover 平均无故障时间
MTTR: Mean Time To Repair 平均修复时间
一般来说，A的值越大，高可用性能就越好，通过增大MTBF或者减小MTTR可以提高系统的高可用性能，
但是一般来说MTBF的提高难度有点大，因此现在HA的主要方法就是通过增加备用节点来减小MTTR.
HA架构
高可用架构比较复杂，因为HA用了分层的结构来实现它的功能，但是说到底目的只有一个，那就是高效快速的实现资源的转移。
Message Layer：用来交换心跳信息
CRM（Cluster Resource Management）：对心跳信息进行管理，从而做出一些决策
LRM（Local Resource Management）：根据CRM的决策信息进行真正的管理
RA（Resource Agent）：真正实现资源转移的脚本文件
1.Messaging Layer（集群信息交流层）
集群信息交流层的作用，主要是为了交换个自己节点的心跳信息（heartbeat），从名字我们都可以看出来，heartbeat主要是主要来标志着一个节点是否处于活动状态，也就是是否正常工作的意思，集群信息交换层通过交换彼此的信息给予CRM一些重要的通知，以助于完成后续资源转移的目的。
2.CRM（集群资源管理层）
集群资源管理层分为两个层次
DC（Design coordinater）指定候选人，DC会通过PE（Policy
Engender）策略引擎对心跳信息进行分析然后根据某种规则进行策略分析，然后把分析的结果送交给LRM进行执行
3.LRM本地资源管理器
本地资源管理器主要用于接受自上一层DC的策略结果，通过调用RA对资源进行一些操作
4.RA资源代理
资源代理主要是一些脚本，可以接受参数，然后对资源进行处理的，类型有四种
<1. service（heartbeat lengacy）
<2. LSB（Linux Standart ）
<3.OCF（Open Cluster Framework）
<4.STONISH
<5.SYSTEMD
Resource（资源）
资源是什么呢？举例来说，对于高可用的web集群来说，资源指的是vip，httpd，filesystem，对于mysql高可用来讲，资源指的是vip，mysqld，filesystem。简单来说，资源指的是当我们的集群节点发生故障之后，使另一个节点能够具备和此节点一样功能的可转移目标。对于web集群来说，本来vip，httpd，filesystem三个资源在A上，当A发生了故障，我把这三个资源转移到B上，一样可以正常的实现web服务。
资源类型
1.primitive（主资源）
主资源指的是对于一个集群服务而言，只能在一个节点上面处于活动状态的资源。例如一个web高可用集群，vip，httpd，filesystem都是primitive，因为他们只能在一个节点上处于active，只有当次节点发生故障之后，才会进行资源转移
2.clone（克隆资源）
与主资源刚好相反，克隆资源是指能够在多个节点上面处于活动状态的资源。例如STONISH,STONISH是用来防止集群发生heart
split（脑裂）的，在收不到节点发的heartbeat信息时，就要使光电交换机自动的切断自己认为是错误节点的电源，以防止发生脑裂现象。
3.master/slave（主从资源）
主从资源是克隆资源的一个特例，指只能够在两个节点上面处于活动状态的资源。
4.group（组资源）
和排列约束还是蛮相近的，指的是让一些资源合并成一个组资源，运行在同一个节点上面。
资源约束
1.location位置约束
和资源粘性一起使用，用来定义某个资源对此节点的倾向性，用值来表示倾向性的强度
inf：表示只要此节点处于活动状态，就立马转移到此节点上面
-inf：表示只要有其他节点处于活动状态，就不会转移到此节点上面
2.order（顺序约束）
定义一些资源启动和关闭的顺序的
3.colacation（排列约束）
定义几个资源是否能够在一起的
inf：这几个资源必须在一起
-inf：这几个资源一定不能放在一起
资源粘性
资源粘性和资源约束的location比较相像，指的是某个资源更倾向与在某个节点上面，一般与资源约束的值进行
相加来最终判断资源是否倾向于此节点上面。
资源隔离
有些资源是不能放在同一个节点上面的，因此在进行了资源约束的情况下，一般还需要对资源进行隔离
1.节点隔离（STONISH）
2.资源隔离（FENCE）
架构的具体实现软件
因为linux内核的不断更新，各厂商的不同，以及高可用技术的分层技术复杂，因此造成了高可用集群技术软件的实现有着很大的不同的局面，很多的软件架构在不同的操作系统上面多依赖的库文件不同，安装很是麻烦，对于初学者来说，简直了，不管怎么样，我还是简单的说一下软件架构。
1.Messaging Layer
- heartbeatv1
- heartbeatv2
- hearteatv3
- corosync
- cman
2.CRM
3.全生命周期的管理软件
- pcs（因为其没有命令行补全工具，而且命令又不是嵌入shell里面，因此不是特别友好）
- crmsh（具有命令行工具，命令类似于一个全新的shell）
以上软件具体的作用我会在之后的实验里面进行介绍，今天我先介绍一种架构，近来因为看的学习视频有点老，很多的软件都找不到，有时候就算找到了也很难安装成功，况且高可用软件对于linux内核版本的依赖性很高，，因此建议用以下架构，因为centos7.0默认具有以下组件，我们可以非常轻松的用yum进行软件的安装，但是因为centos第一次接触，有很多地方和之前的版本有很大的不同，让我们一起来克服吧。
- corosync v2 + pacemaker
+ pcs
- centos 7.0
- node1 192.168.1.128
-
node2 192.168.1.129
-
node3 192.168.1.130
- ntp_server nfs_server 192.168.1.127
因为第一次接触centos7.0，首先我先说一下我在配置安装过程中出现的几个问题。
1、no server suitable for synchronization
found
这个问题主要是由于没有在各个节点上面开启ntp服务造成的，本来我以为只用一个ntp服务器需要开启ntp服务就可以了，然后就一直提示此错误
2、device eth0 does not seem to be present delaying
initialization centos 7
这个问题产生的原因是在克隆了一个系统之后出现的错误，可能是由于克隆的时候mac地址冲突的问题导致的
解决方法
cat
/etc/udev/rule.d/70-persisent-ipoib.rules
找eth1的mac地址，替换以下文件的mac地址
vim
/etc/sysconfig/network-scripts/cfg-ens33
然后重启服务
systemctl restart
network
配置高可用集群服务的先决条件
1.节点名称要一直，可以进行互相的通信
节点一
#hostname node1 修改主机名，临时生效
#vim /etc/sysconfig/network 永久生效
HOSTNAME=node1
#vim /etc/hosts 使主机能够解析node1，node2，node3
192.168.1.128 node1
192.168.1.129 node2
192.168.1.130 node3
#ping node2 测试是否能够ping通
#ping node3
节点二
#hostname node2 修改主机名，临时生效
#vim /etc/sysconfig/network 永久生效
HOSTNAME=node2
#vim /etc/hosts 使主机能够解析node1，node2，node3
192.168.1.128 node1
192.168.1.129 node2
192.168.1.130 node3
#ping node3 测试是否能够ping通
#ping node1
节点三
#hostname node3 修改主机名，临时生效
#vim /etc/sysconfig/network 永久生效
HOSTNAME=node3
#vim /etc/hosts 使主机能够解析node1，node2，node3
192.168.1.128 node1
192.168.1.129 node2
192.168.1.130 node3
#ping node2 测试是否能够ping通
#ping node1
2.ssh可以相互进行通信
节点一
#ssh-keygen -t rsa
在家目录下面生成秘钥文件
#ssh-copy-id -i ~/.ssh/id-rsa.pub
root@node2 和node2进行秘钥的交换
#ssh-copy-id -i ~/.ssh/id-rsa.pub
root@node3 和node3进行秘钥的交换
#ssh node2 "ifconfig" 检测是否交换成功，注意此时的ip地址为node2的地址
#ssh node3 "ifconfig" 检测是否交换成功，注意此时的ip地址为node3的地址
节点二
#ssh-keygen -t rsa
在家目录下面生成秘钥文件
#ssh-copy-id -i ~/.ssh/id-rsa.pub
root@node1 和node1进行秘钥的交换
#ssh-copy-id -i ~/.ssh/id-rsa.pub
root@node3 和node3进行秘钥的交换
#ssh node1 "ifconfig" 检测是否交换成功，注意此时的ip地址为node1的地址
#ssh node3 "ifconfig" 检测是否交换成功，注意此时的ip地址为node3的地址
节点三
#ssh-keygen -t rsa
在家目录下面生成秘钥文件
#ssh-copy-id -i ~/.ssh/id-rsa.pub
root@node2 和node2进行秘钥的交换
#ssh-copy-id -i ~/.ssh/id-rsa.pub
root@node1 和node1进行秘钥的交换
#ssh node1 "ifconfig" 检测是否交换成功，注意此时的ip地址为node1的地址
#ssh node2 "ifconfig" 检测是否交换成功，注意此时的ip地址为node2的地址
3.时间同步
NTP服务器
<1.yum源的配置
#mkdir -pv /mnt/cdrom
#vim /etc/yum.repos.d/huwentao.repo配置一下信息
[huwentao]
name=huwentao
baseurl=file:///mnt/cdrom
此处最关键，对于centos7.0没有了Server，Cluster，因此就写成这样可以了
enabled=1
gpgcheck=0
<2.安装ntpd服务
#yum list all | grep ntp 看看是否有一下信息输出
ntp.x86_64
4.2.6p5-25.el7.centos
@hu
#yum install ntp -y 安装时间服务器
#systemctl restart ntpd.service
节点二
<1.和节点一一样配置yum源，安装启动服务
#ntpdate 192.168.1.127
节点三
<1.和节点一一样配置yum源，安装启动服务
#ntpdate 192.168.1.127
至此，配置高可用web集群服务的基础架构就已经完成了
4.安装软件
节点一，二，三节点都要执行
#yum -y install corosync pacemaker pcs
httpd
#systemctl stop firewalld.service
对于不知道怎么设置防火墙的，而且是仅仅只是做实验的人来说，这一步必须要有
#setenforce 0
#systemctl enable httpd.service 设置为开机自启
5.详解配置文件corosync.conf
totem {
version:
2
crypto_cipher: none 不
crypto_hash: none
secauth: off
interface
{
ringnumber:
0
bindnetaddr: 192.168.1.0
网段地址
mcastaddr:
239.188.1.31 组播地址
mcastport:
5405
ttl:
1
}
nodelist {
node {
ring0_addr: 192.168.1.128
nodeid: 1
}
node {
ring0_addr: 192.168.1.129
nodeid: 2
}
node {
ring0_addr: 192.168.1.130
nodeid: 3
}
}
logging {
fileline:
off 在记录日志的时候不同的日志是否需要下划线
to_stderr: no
是否需要错误输出
to_logfile:
yes 输出为日志文件
logfile:
/var/log/cluster/corosync.log
to_syslog: no
是否传送给标准的日志文件
debug:
off
timestamp: off 时间戳是否要进行记录
logger_subsys
{
subsys:
QUORUM
debug:
off
}
}
quorum {
provider:
corosync_votequorum 开启投票系统
}
6.配置nfs服务器
#mkdir /www/huwentao 首先创建一个共享目录，以及httpd服务的默认页面
#echo "
Test HA Cluster script.
" > /www/huwentao/index.html
#vim /etc/exports 默认为只读文件
/www/huwentao 192.168.1.0/24(ro)
#service nfs start
#showmount -e localhost 查看是否有信息
节点一测试
#systemctl restart httpd.service 启动httpd服务
#mount -t nfs 192.168.1.127:/www/huwentao /var/www/html
查看是否能够挂载成功，注意防火墙不关闭，selinux不设置成0，一般是不能够挂载成功的，因此上面的步骤一定要完成了以后在进行测试
在浏览器中输入192.168.1.127 ，出现以下字样，表明测试成功
Test HA Cluster script.
##systemctl stop httpd.service
关闭httpd服务
7.pcs的使用
节点一
#cp corosync.conf.example corosync.conf
复制样例文件，并进行第五步骤的修改
#scp /etc/corosync/corosync.conf
node2:/etc/corosync/
复制文件到node2
#scp /etc/corosync/corosync.conf
node2:/etc/corosync/
复制文件到node3
开启node1，node2，node3的corosync服务
#systemctl start corosync.service
#ssh node2 "systemctl start corosync.service "
#ssh node2 "systemctl start corosync.service "
开启node1，node2，node3的pacemaker服务
#systemctl start pacemaker.service
#ssh node2 "systemctl start pacemaker.service "
#ssh node2 "systemctl start pacemaker.service "
#systemctl start
pcs.service 开启node1上面的pcsd服务
#crm_mon 看到以下信息
Stack: corosync
Current DC: node3 (version 1.1.15-11.el7-e174ec8) - partition with quorum
Last updated: Mon May 15 07:51:56
2017
Last change: Mon May 15 05:52:38 2017 by root via cibadmin on
node1
3 nodes and 3 resources configured
Online: [ node1 node2 node3
]
配置资源
pcs的用法，pcs有很多的子命令
- cluster 定义集群服务
- resource 定义一些资源
- config 查看当前的一些配置
- status 查看当前集群的状态
- constraint 定义资源约束
- property 设置一些全局属性
这里只是简单的配置一些资源，详细的使用信息这里就不在赘述
以下为设置web高可用集群的三个必要资源webip,webstore,webserver，并把这三个资源放在一个组内
#pcs property set
stonith-enabled=false因为当前没有stonish设备，因此将此参数设置成false
#pcs source create webip
ocf:heartbeat:IPaddr ip="192.168.1.2"
op monitor interval=30s
#pcs source create webstore
ocf:heartbeat:Filesystem device="192.168.1.127:/www/huwentao/"
directory="/var/www/html" fstype="nfs"
#pcs source create webserver systemd:httpd
#pcs source group webservice webip webserver webstore
#pcs status 显示以下信息
Cluster name:
WARNING: corosync and pacemaker node names do not match (IPs used
in setup?)
Stack: corosync
Current DC: node3 (version 1.1.15-11.el7-e174ec8) - partition with
quorum
Last updated: Mon May 15 08:04:22
2017
Last change: Mon May 15 05:52:38 2017 by root via cibadmin on
node1
3 nodes and 3 resources configured
Online: [ node1 node2 node3 ]
Full list of resources:
Resource Group: webservice
webip
(ocf::heartbeat:IPaddr):
Started node1
webstore
(ocf::heartbeat:Filesystem):
Started node1
webserver
(systemd:httpd):
Started node1
Daemon Status:
corosync: active/disabled
pacemaker: active/disabled
pcsd: active/disabled
8.测试
在浏览器中输入 192.168.1.2显示以下信息
Test HA Cluster script.
至此高可用的web服务就配置完成了