keepalived 介绍
Keepalived软件期初是专为LVS负载均衡软件设计的,用来管理并监控LVS几区系统汇总各个服务节点的状态,后来又加入了可以实现高可用的VRRP功能。因此Keepalived除了能管理LVS软件外,还可以作为其他服务(例如:Nginx、Haproxy、Mysql等)的高可用解决方案软件。
Keepalived软件主要是通过VRRP协议实现高可用功能的。VRRP是Virtual Router Redundancy Protocol(虚拟路由冗余协议)的缩写,VRRP协议出现的目的就是为了解决静态路由单点故障问题的。它能够保证当个别节点宕机时,整个网络可以不间断的运行。所以,Keepalived一方面具有配置管理LVS的功能,同时还具有对LVS下面节点进行健康检查的功能,另一方面也可实现系统网络服务的高可用功能。
高可用故障切换原理
虚拟路由器由多个路由器组成,每个路由器都有各自的IP和共同的VRID(0-255),其中一个VRRP路由器通过竞选成为MASTER,占有VIP,对外提供路由服务,其他成为BACKUP,MASTER以IP组播(组播地址:224.0.0.18)形式发送VRRP协议包,与BACKUP保持心跳连接,若MASTER不可用(或BACKUP接收不到VRRP协议包),则BACKUP通过竞选产生新的MASTER并继续对外提供路由服务,从而实现高可用。
Keepalived软件的官方站点为http://www.keepalived.org
VRRP相关术语
虚拟路由器:Virtual Router
虚拟路由器标识:VRID(0-255)
物理路由器:
master :主设备
backup :备用设备
priority:优先级
VIP:Virtual IP
工作模式:
主/备:单虚拟路径器;
主/主:主/备(虚拟路径器),备/主(虚拟路径器)
工作类型:
抢占式:当出现比现有主服务器优先级高的服务器时,会发送通告抢占角色成为主服务器
非抢占式:
keepalived核心组件
安装
从CentOS 6.4开始keepalived随系统base仓库提供,可以使用 yun install keepalived
安装。
配置文件:
主配置文件:/etc/keepalived/keepalived.conf
主程序文件:/usr/sbin/keepalived
提供校验码:/usr/bin/genhash
Unit File:keepalived.service
Unit File的环境配置文件:/etc/sysconfig/keepalived
global_defs { (全局默认配置,多数都不需要更改) notification_email { (邮件设置) acassen@firewall.loc (当主节点出现故障时发送邮件) failover@firewall.loc sysadmin@firewall.loc } notification_email_from Alexandre.Cassen@firewall.loc (发送邮件地址,使用意义不大) smtp_server 192.168.200.1 smtp_connect_timeout 30 router_id LVS_DEVEL (路由器标识,信息不是特别关键该不该都无所谓) vrrp_skip_check_adv_addr vrrp_strict vrrp_garp_interval 0 vrrp_pmcast_group4 224.0.44.44 (添加组播地址,防止在同一网段的其他机器被多播影响) vrrp_gna_interval 0 vrrp_iptables (可在默认的全局选项中添加此条选项,防止主节点在重启后生成iptables规则,造成) } (主节点的再次启用失败) vrrp_instance VI_1 { (虚拟IP地址的设置) state MASTER (设置为主节点) interface eth0 (作用哪个物理网卡上) virtual_router_id 51 (路由器编号自定义,0-255之间的数字就可以) priority 100 (优先级的值0-255之间数字越大优先级越高) advert_int 1 (自己的心跳信息;每隔多少秒向外发布依次) authentication { (认证) auth_type PASS (认证方式:密码认证) auth_pass 1111 (输入密码;随意字符和数字最长八位) }
virtual_ipaddress {
192.168.200.16 #虚拟路由IP地址,以辅助地址方式设置
192.168.200.18/24 dev eth2 label eth2:1 #以别名的方式设置
}
track_interface { #配置要监控的网络接口,一旦接口出现故障,则转为FAULT状态;
eth0
eth1
}
nopreempt #定义工作模式为非抢占模式;
preempt_delay 300
virtual_server 192.168.200.100 443 { #LVS配置段 ,设置LVS的VIP地址和端口
delay_loop #服务轮询的时间间隔;检测RS服务器的状态。
lb_algo rr #调度算法,可选rr|wrr|lc|wlc|lblc|sh|dh。
lb_kind NAT #集群类型。
nat_mask 255.255.255.0 #子网掩码,可选项。
persistence_timeout 50 #是否启用持久连接,连接保存时长
protocol TCP #协议,只支持TCP
sorry_server <IPADDR> <PORT> #备用服务器地址,可选项
real_server 192.168.201.100 443 { #配置RS服务器的地址和端口
weight 1 #权重
SSL_GET { #检测RS服务器的状态,发送请求报文
url {
path / #请求的URL
digest ff20ad2481f97b1754ef3e12ecd3a9cc #对请求的页面进行hash运算,然后和这个hash码进行比对
,如果hash码一样就表示状态正常
status_code <INT> #判断上述检测机制为健康状态的响应码,和digest二选一即可。
} #这个hash码可以使用genhash命令请求这个页面生成
connect_timeout 3 #连接超时时间
nb_get_retry 3 #超时重试次数
添加虚拟服务器配置参数
virtual_server 10.10.10.2 1358 {
delay_loop 6 (服务轮询的时间间隔)
lb_algo rr (定义调度方法;LVS的 rr|wrr|lc|wlc|lblc|sh|dh)
lb_kind NAT (LVS的模型 NAT|DR|TUN)
persistence_timeout 50 (持久连接时长)
protocol TCP (服务协议,仅支持TCP)
sorry_server 192.168.200.200 1358 (备用服务器地址:当所有后台web都宕机时提供sorry界面的服务器)
real_server 192.168.200.3 1358 { (后台web服务器的IP地址)
weight 1 (设定权重)
HTTP_GET {
url {
path /testurl/test.jsp (定义要监控的URL)
digest 640205b7b0fc66c1ea91c463fac6334c
}
url {
path /testurl2/test.jsp
digest 640205b7b0fc66c1ea91c463fac6334c
}
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
HTTP_GET|SSL_GET:应用层检测(7层检测)
path <URL_PATH>:定义要监控的URL;
status_code <INT>:判断上述检测机制为健康状态的响应码;
digest <STRING>:判断上述检测机制为健康状态的响应的内容的校验码;
}
nb_get_retry <INT>:重试次数;
delay_before_retry <INT>:重试之前的延迟时长;
connect_ip <IP ADDRESS>:向当前RS的哪个IP地址发起健康状态检测请求
connect_port <PORT>:向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS>:发出健康状态检测请求时使用的源地址;
bind_port <PORT>:发出健康状态检测请求时使用的源端口;
connect_timeout <INTEGER>:连接请求的超时时长;向RS1服务器发送请求对方没有响应,等待时长。
}
TCP_CHECK { (tcp4层检测)
connect_ip <IP ADDRESS>:向当前RS的哪个IP地址发起健康状态检测请求
connect_port <PORT>:向当前RS的哪个PORT发起健康状态检测请求
bindto <IP ADDRESS>:发出健康状态检测请求时使用的源地址;
bind_port <PORT>:发出健康状态检测请求时使用的源端口;
connect_timeout <INTEGER>:连接请求的超时时长;
实验:单主配置实现 (一主一备)
具体配置信息:(在同一个网路中实现)
实验环境:selinux ;iptables;时间是否同步;(如果不同步:timedatectl set-timezone Asia/Shanghai可以用此命令设置仅在centos7上有此命令)
查看网卡信息:是否有以下信息多播方式(默认都有)
如果没有此条信息:则需要手动开启此选项
ip link set dev ens33 multicast on (开启多播方式)
ip link set dev ens33 multicast off (关闭多播方式)
1、在主的机器上设置
yum install keepalived (安装包)
vim /etc/keepalived/keepalived.conf (修改配置文件)
后面的配置文件可以删除
2、从设备的设置
yum install keepalived (安装包)
vim /etc/keepalived/keepalived.conf (修改配置文件)
首先将节点的服务器开启:systemctl start keepalived
查看网卡状态:ip a l
然后再将主节点的服务器开启:systemctl start keepalived
查看网卡状态:ip a l
由于是抢占模式,当主节点的服务器起来之后,发现自己的优先级高于从节点的服务器,所以将虚拟IP地址又抢占过来了。
虚拟IP地址可以来回切换说明keepalived已经成功了。
实验:双主配置的实现
实验环境:selinux ;iptables;时间是否同步;(如果不同步:timedatectl set-timezone Asia/Shanghai可以用此命令设置仅在centos7上有此命令)
其他配置同上一个实验
具体配置信息:(在同一个网路中实现)
1 . 在主设备:
yum install keepalived (安装包)
vim /etc/keepalived/keepalived.conf (修改配置文件)
在上述配置的基础上添加第二个从虚拟IP地址作为备用的
vrrp_instance VI_2 { (第二个虚拟IP) state BACKUP (备用设备)第一个虚拟IP是主,为了做双主,所以这里写BACKUP,为了保证既是主 又是从 的特性 interface ens33 virtual_router_id 52 (路由编号要更改) priority 90 (这是第二个虚拟IP的优先级,且是备用设备,所以优先级要低于迪哥哥虚拟IP) advert_int 1 authentication { auth_type PASS auth_pass 123456 (密码从新设置) } virtual_ipaddress { 172.20.107.99 (新虚拟IP地址) } }
2.在从机器上
在实验1 的基础上 ,添加第二个虚拟 主
vim /etc/keepalived/keepalived.conf
vrrp_instance VI_2 { state MASTER interface ens33 virtual_router_id 52 priority 91 advert_int 1 authentication { auth_type PASS auth_pass 123456 } virtual_ipaddress { 172.20.107.99 } }
测试
首先将主机器的keepalived开启服务:systemctl start keepalived
会发现ens33上开启了两个虚拟IP,分别是第一个虚拟IP的主和第二个虚拟IP的 备,因为此时第二个备主机未开启所以第二个虚拟IP在主机器上作为备用模式也启动了。
再将第二台主机开启keepalived服务:systemctl start keepalived
由于备用主机上的的第二个IP地址在此机器上是作为主用的,所以开启服务之后,主机器只有第一个虚拟IP地址,而备用机器上有第二个虚拟IP地址。
主用机器和备用机器都有一个虚拟IP地址,两个虚拟IP地址指向同一个域名这样就实现了互为主备模式,既可以实现高可用也能够实现负载均衡的目的,将备用服务器利用起来了。
若我们将第一台主机的keepalived的服务停止,就会发现第二台主机就会有2个虚拟主机IP
实验: nginx 高可用的实现
1、在主设备上,需要有kiallall 命令 如果没有 需要 yum install psmisc-22.20-15.el7.x86_64
vim /etc/keepalived/keepalived.conf
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 172.20.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_iptables #一定要添加这一项,清除防火墙
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group 224.0.26.26
}
vrrp_script chk_nginx{ #定义一个脚本,检测本机的nginx程序 , 如果停止则将本机的优先级减5; 为的是小于备用节点,让备用节点抢占虚拟IP称为主节点 管理,这样就能实现高可用 script "killall -0 nginx && exit 0 || exit 1" interval 1 weight -5 #此数值要保证在主节点减去5后的优先级要小于备用节点的优先级,不然备用节点抢不到虚拟ip fall 3 #一般情况设置为3 rise 2 #一般为2 }
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 12345678
}
virtual_ipaddress {
172.20.107.100/16 #必须注明 子网掩码位数
}
track_script { #调用以上脚本
chk_nginx
}
}
2、接着我们安装nginx 并配置
yum install nginx (装包)
vim /etc/nginx/conf.d/test.conf (创建自定义nginx的配置文件)
[root@localhost ~]# vim /etc/nginx/conf.d/www.conf
upstream websrvs {
server 172.20.107.127:80; #这里要填写后端两台http 服务的IP地址
server 172.20.107.128:80;
}
server {
listen 80 default_server;
server_name www.laobai.com;
root /usr/share/nginx/html;
location / {
proxy_pass http://websrvs;
}
}
修改nginx 主配置文件
server { listen 80 ; #将原本的server删除 server_name localhost; #自定义为localhost root /usr/share/nginx/html; # Load configuration files for the default server block. include /etc/nginx/default.d/*.conf; location / { }
3、我们在从设备上做相同的操作
vim /etc/keepalived/keepalived.conf
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_iptables #这里一定要加上这一条,清除防火墙规则
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group 224.0.26.26
}
vrrp_script chk_nginx { script "killall -0 nginx && exit 0 || exit 1" interval 1 weight -5 fall 2 rise 1 }
vrrp_instance VI_1 {
state BACKUP #这里改为 备用 BACKUP
interface ens33
virtual_router_id 51
priority 98 #优先级要比主 小
advert_int 1
authentication {
auth_type PASS
auth_pass 12345678 #密码要相同
}
virtual_ipaddress {
172.20.107.100/16 #必须注明子网掩码位数
}
}
修改nginx配置文件
[root@localhost ~]# vim /etc/nginx/nginx.conf
server { listen 80 ; server_name localhost; root /usr/share/nginx/html;
[root@localhost ~]# vim /etc/nginx/conf.d/www.conf
upstream websrvs {
server 172.20.107.127:80;
server 172.20.107.128:80;
}
server {
listen 80 default_server;
server_name www.laobai.com;
root /usr/share/nginx/html;
location / {
proxy_pass http://websrvs;
}
}
4、在后端安装两台 http 服务 并设置默认网页内容
[root@localhost ~]# yun install httpd [root@localhost ~]# systemctl start httpd [root@localhost ~]# echo RS1 laobai > /var/www/html/index.html
[root@localhost ~]# yun install httpd [root@localhost ~]# systemctl start httpd [root@localhost ~]# echo RS2 laobai > /var/www/html/index.html
5、 测试
在同一网段的windows 电脑 访问我们的虚拟IP
再次刷新就调度到 另一台http服务器上了
实验: ansible 实现keepalived基于nginx的高可用
实验环境
172.20.107.129 ansible服务器
172.20.107.26 keepalived 服务器基于nginx
172.20.107.52 keepalived 服务器基于nginx
172.20.107.127 HTTP服务器
172.20.107.128 HTTP服务器
1.安装ansible,基于epel源
yum install ansible -y
2.配置主配置文件,在主配置文件中加入要远程的ip
vim /etc/ansible/hosts
[keepalived]
172.20.107.26
172.20.107.52
[httpdserver]
172.20.107.127
172.20.107.128
[server]
172.20.107.26
172.20.107.52
172.20.107.127
172.20.107.128
3.基于ssh验证 免密登录
ssh-keygen 生成秘钥文件 按3下回车键
ssh-copy-id id_rsa.pub root@172.20.107.129 拷贝到自己主机
拷贝到其他主机
ssh-copy-id id_rsa.pub root@172.20.107.26:/root/.ssh/
ssh-copy-id id_rsa.pub root@172.20.107.52:/root/.ssh/
ssh-copy-id id_rsa.pub root@172.20.107.127:/root/.ssh/
ssh-copy-id id_rsa.pub root@172.20.107.128:/root/.ssh/
并且逐个以ssh连接一遍
4.测试ansible是否可以ping通其他主机
ansible 192.168.63.137 -m ping
ansible 192.168.63.134 -m ping
ansible 192.168.63.135 -m ping
ansible 192.168.63.140 -m ping
或
ansible server -m ping
5.创建一个ansible目录用来组名存放ansible脚本
mkdir ansible
6.创建yml
[root@contes7 ansible]# vim keepalived.yml
---
- hosts: keepalived
remote_user: root
tasks:
- name: install
yum: name=keepalived
- name: install
yum: name=nginx
- name: install
yum: name=psmisc
- name: install
yum: name=mail*
- name: copy conf file
copy: src=/root/ansible/templates/keepalived.conf.bak.j2 dest=/etc/keepalived/keepalived.conf
- name: copy conf file
copy: src=/root/ansible/templates/www.conf.j2 dest=/etc/nginx/conf.d/www.conf(如果发布失败提示找不到conf.d目录,需手动创建)
- name: shell
shell: chmod +x /etc/keepalived/notify.sh
- name: shell
shell: iptables -F
- name: start service
service: name=keepalived.service state=started enabled=yes
- name: start service
service: name=nginx state=started enabled=yes
- name: shell
shell: iptables -F
- hosts: 172/20.107.52
remote_user: root
tasks:
- name: copy conf file
copy: src=/root/ansible/templates/keepalived2.conf.bak.j2 dest=/etc/keepalived/keepalived.conf backup=yes
- hosts: httpdserver
remote_user: root
tasks:
- name: install package
yum: name=httpd
- name: copy
copy: src=/root/ansible/templates/index.html.j2 dest=/var/www/html/index.html
- name: shell
shell: iptables -F
- name: start service
service: name=httpd state=started enabled=yes
- hosts: 172.20.107.128
remote_user: root
tasks:
- name: copy
copy: src=/root/ansible/templates/index.html.j3 dest=/var/www/html/index.html
- name: shell
shell: iptables -F
7. 创建模板文件
vim ansible/templates/keepalived.conf.bak.j2
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_iptables 清除防火墙
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group 224.0.26.26 设置一个广播地址,防止VIP冲突
}
vrrp_script ngxhealth { #定义独立的脚本,名字自己定义
#killall -0 nginx 命令是检查nginx服务是否正常
script "killall -0 nginx && exit 0 || exit 1" #指明要配置脚本了,script可以是放置在系统中的脚本文件路径,也可以是一条命令
interval 1 #一秒钟检测一次
weight -5 #如果nginx故障权重减5,要确定减完以后低于备用节点
fall 2
rise 1
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 66
priority 100 优先级
advert_int 1
authentication {
auth_type PASS
auth_pass 12345678
}
virtual_ipaddress {
172.20.107.98/16
}
track_script {
ngxhealth #在vrrp_instance VI_1中调用ngxhealth脚本
}
track_interface {
ens33 #跟踪ens33接口
}
notify_master "/etc/keepalived/notify.sh master" # 当前节点成为主节点时触发的脚本
notify_backup "/etc/keepalived/notify.sh backup" # 当前节点转为备节点时触发的脚本
notify_fault "/etc/keepalived/notify.sh fault" # 当前节点转为失败状时触发的脚本
}
vrrp_instance VI_2 { #唯一标识,如果有vrrp,两个标识不一样,可以自己指定
state BACKUP #优先级最高的为MASTER,其他级别为BACKUP
interface ens33 #在哪个接口工作
virtual_router_id 77 #id是0-255主机的十进制数字都可以,id和自己的主服务器一样
priority 98 #优先级,数字越大,优先级就越高
advert_int 1 #自己的心跳信息,通过组播每隔多长时间通告一次
authentication { #为了安全需要验证
auth_type PASS #PASS是密码验证,默认是8位
auth_pass 12345678 #密码8位,可以通过“openssl rand -base64 8” 命令生成随机的8位字串
}
virtual_ipaddress { #设置虚拟ip地址
172.20.107.100/24 #虚拟的ip,不是真实的
}
track_script {
ngxhealth #在vrrp_instance VI_1中调用ngxhealth脚本
}
notify_master "/etc/keepalived/notify.sh master" # 当前节点成为主节点时触发的脚本
notify_backup "/etc/keepalived/notify.sh backup" # 当前节点转为备节点时触发的脚本
notify_fault "/etc/keepalived/notify.sh fault" # 当前节点转为失败状时触发的脚本
}
vim ansible/templates/keepalived2.conf.bak.j2
! Configuration File for keepalived
global_defs {
notification_email {
root@localhost
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_iptables
vrrp_garp_interval 0
vrrp_gna_interval 0
vrrp_mcast_group 224.0.26.26
}
vrrp_script ngxhealth { #定义独立的脚本,名字自己定义
#killall -0 nginx 命令是检查nginx服务是否正常
script "killall -0 nginx && exit 0 || exit 1" #指明要配置脚本了,script可以是放置在系统中的脚本文件路径,也可以是一条命令
interval 1 #一秒钟检测一次
weight -5 #如果nginx故障权重减5,要确定减完以后低于备用节点
fall 2
rise 1
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 66
priority 98
advert_int 1
authentication {
auth_type PASS
auth_pass 12345678
}
virtual_ipaddress {
172.20.107.98/16
}
track_interface {
ens33 #跟踪ens33接口
}
track_script {
ngxhealth #在vrrp_instance VI_1中调用ngxhealth脚本
}
notify_master "/etc/keepalived/notify.sh master" # 当前节点成为主节点时触发的脚本
notify_backup "/etc/keepalived/notify.sh backup" # 当前节点转为备节点时触发的脚本
notify_fault "/etc/keepalived/notify.sh fault" # 当前节点转为失败状时触发的脚本
}
vrrp_instance VI_2 { #唯一标识,如果有vrrp,两个标识不一样,可以自己指定
state MASTER #优先级最高的为MASTER,其他级别为BACKUP
interface ens33 #在哪个接口工作
virtual_router_id 77 #id是0-255主机的十进制数字都可以,id和自己的主服务器一样
priority 100 #优先级,数字越大,优先级就越高
advert_int 1 #自己的心跳信息,通过组播每隔多长时间通告一次
authentication { #为了安全需要验证
auth_type PASS
#PASS是密码验证,默认是8位
auth_pass 12345678 #密码8位,可以通过“openssl rand -base64 8” 命令生成随机的8位字串
}
virtual_ipaddress { #设置虚拟ip地址
172.10.107.100/216 #虚拟的ip,不是真实的
}
track_script {
ngxhealth #在vrrp_instance VI_1中调用ngxhealth脚本
}
notify_master "/etc/keepalived/notify.sh master" # 当前节点成为主节点时触发的脚本
notify_backup "/etc/keepalived/notify.sh backup" # 当前节点转为备节点时触发的脚本
notify_fault "/etc/keepalived/notify.sh fault" # 当前节点转为失败状时触发的脚本
}
然后卸载 keepalived 、nginx 和httpd服务 进入ansijble目录 执行操作
ansible-playbook keepalived.yml