搭建高可用Kubernetes集群之Haproxy+Keepalived集群搭建篇（二）

https://www.jianshu.com/p/7a41f0294f32

人生如逆旅，我亦如行人

---

本篇教程将大家Haproxy+Keepalived集群，主机规划可以参考我的这一篇文章搭建高可用Kubernetes集群之etcd集群搭建篇（一）

Keepalived简介

说到Keepalived，首先介绍一下什么是VRRP（Virtual Router Redundancy Protocol）协议，即虚拟器路由冗余协议，是为了解决局域网内默认网关单点失效的问题。

VRRP 将局域网内的一组路由器组成一个虚拟路由器组,每个路由器都有自己的局域网地址, 根据设置的优先级最高决定那个是master路由器。然后网关地址赋给该主路由器, 该主路由器定时发送VRRP报文向虚拟路由器组公布健康状况, 备份的路由器根据柏爱文判断Master路由器是否工作正常,从而决定是否要接替它. VRRP说白了就是实现IP地址漂移的，是一种容错协议。在下图中，Router A(10.100.10.1)、Router B(10.100.10.2)和Router C(10.100.10.3) 组成一个虚拟路由器。各虚拟路由器都有自己的IP地址。局域网内的主机将虚拟路由器设置为缺省网关。 Router A、Router B和Router C中优先级最高的那台路由器作为Master路由器,比如A，承担网关的功能。局域网内的服务 只知道这台主master路由器A的存在,将自己缺省路由下一跳地址设置为该路由的ip地址10.100.10.1, 其余两台路由器作为Backup路由器。当master路由器出故障后， backup路由器会根据优先级重新选举出新的master路由器承担网关功能。Master路由器周期性地发送VRRP报文， 在虚拟路由器中公布其配置信息（优先级等）和工作状况。Backup路由器通过接收到VRRP报文的情况来判断Master路由器是否工作工常。

 

image.png

Keepalived是基于vrrp协议的一款高可用软件，它是作用在主机上，而不是路由器上。Keepailived把多台主机虚拟在一起，提供一个虚拟IP对外提供服务，它拥有一台master服务器和多台backup服务器，当主服务器出现故障时，虚拟IP地址会自动漂移到备份服务器，实现故障转移的高可用可能，即双机热备。注意：服务器的时间一定要一致。

Haproxy简介

HAProxy 提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,支持虚拟主机,它是开源、快速并且可靠的一种解决方案。HAProxy 特别适用于那些负载特大的 web 站点, 这些站点通常又需要会话保持或七层处理（和Nginx比较有优势的地方）。HAProxy 运行在当前的硬件上,完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整 合进您当前的架构中, 同时可以保护你的 web 服务器不被暴露到网络上。

它在kubernetes高可用集群中的作用如下图，负责接收各节点发送给API Server的消息，然后负载均衡到任一个主节点，保证了数据的一致性：

 

image.png

思路大致就是lb这个集群中vip地址所在的节点负责监听kubernetes集群的各组件发送给api的消息，然后haproxy利用负载均衡实现消息分发到各个kubernetes的master节点，keepalived则保证这个接收请求的“大门“保持敞开。

对于haproxy+keepalived各个节点需要做的准备工作在我的前一篇文章已经介绍了，请先完成准备工作，再开始进行接下来的安装配置。

安装Keepalived

• lb1节点
  yum install -y keepalived

vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   notification_email {
     sysadmin@firewall.loc #接收人邮箱地址
   }
   notification_email_from Alexandre.Cassen@firewall.loc #发送人邮箱
   smtp_server 127.0.0.1 #邮箱服务器
   smtp_connect_timeout 30
   router_id lb1 #主机名,每个节点不同
   vrrp_mcast_group4 224.0.100.100
   #vrrp_strict  注释，不然严格遵守vvrp，访问不了vip

}

vrrp_instance VI_1 {
    state MASTER     #主服务器
    interface ens160 #VIP 漂移到的网卡
    virtual_router_id 51 #多个节点必须相同
    priority 100     #优先级，备服务器比这个低
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass csdc456csdc
    }
    virtual_ipaddress {
        192.168.88.201/24 #vip
    }
}

• lb2节点
  yum install -y keepalived

vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   notification_email {
     sysadmin@firewall.loc #接收人邮箱地址
   }
   notification_email_from Alexandre.Cassen@firewall.loc #发送人邮箱
   smtp_server 127.0.0.1 #邮箱服务器
   smtp_connect_timeout 30
   router_id lb2 #主机名,每个节点不同
   vrrp_mcast_group4 224.0.100.100
   #vrrp_strict  注释，不然严格遵守vvrp，访问不了vip
  
}

vrrp_instance VI_1 {
    state BACKUP     #备服务器
    interface ens160 #VIP 漂移到的网卡
    virtual_router_id 51 #多个节点必须相同
    priority 90     #优先级，备服务器比这个低
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass csdc456csdc
    }
    virtual_ipaddress {
        192.168.88.201/24 #vip
    }
}

• lb3节点
  yum install -y keepalived

vi /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   notification_email {
     sysadmin@firewall.loc #接收人邮箱地址
   }
   notification_email_from Alexandre.Cassen@firewall.loc #发送人邮箱
   smtp_server 127.0.0.1 #邮箱服务器
   smtp_connect_timeout 30
   router_id lb3 #主机名,每个节点不同
   vrrp_mcast_group4 224.0.100.100
   #vrrp_strict  注释，不然严格遵守vvrp，访问不了vip
  

}

vrrp_instance VI_1 {
    state BACKUP   #备服务器
    interface ens160 #VIP 漂移到的网卡
    virtual_router_id 51 #多个节点必须相同
    priority 80     #优先级，备服务器比这个低
    advert_int 1
    authentication {
        auth_type PASS
        auth_pass csdc456csdc
    }
    virtual_ipaddress {
        192.168.88.201/24 #vip
    }
}

然后在lb0、lb1、lb2节点执行下列命令启动Keepalived
systemctl start keepalived
systemctl enable keepalived
现在你可以尝试关闭主节点，看看vip是否漂移到其他节点去了，然后再打开主节点，vip又重新绑定到主节点的网卡上。

安装HAProxy

• lb1、lb2、lb3节点
  yum install haproxy -y

vi /etc/haproxy/haproxy.cfg
#--------------------------------------------------------------------- 
# Example configuration for a possible web application.  See the       
# full configuration options online.                                   
#                                                                      
#   http://haproxy.1wt.eu/download/1.4/doc/configuration.txt           
#                                                                      
#--------------------------------------------------------------------- 
                                                                       
#--------------------------------------------------------------------- 
# Global settings                                                      
#--------------------------------------------------------------------- 
global                                                                 
    # to have these messages end up in /var/log/haproxy.log you will   
    # need to:                                                         
    #                                                                  
    # 1) configure syslog to accept network log events.  This is done  
    #    by adding the '-r' option to the SYSLOGD_OPTIONS in           
    #    /etc/sysconfig/syslog                                         
    #                                                                  
    # 2) configure local2 events to go to the /var/log/haproxy.log     
    #   file. A line like the following can be added to                
    #   /etc/sysconfig/syslog                                          
    #                                                                  
    #    local2.*                       /var/log/haproxy.log           
    #                                                                  
    log         127.0.0.1 local2                                       
                                                                       
    chroot      /var/lib/haproxy                                       
    pidfile     /var/run/haproxy.pid                                   
    maxconn     4000                                                   
    user        haproxy                                                
    group       haproxy                                                
    daemon                                                             
                                                                       
    # turn on stats unix socket                                        
    stats socket /var/lib/haproxy/stats                                
                                                                       
#--------------------------------------------------------------------- 
# common defaults that all the 'listen' and 'backend' sections will    
# use if not designated in their block                                 
#--------------------------------------------------------------------- 
defaults                                                               
    mode                    tcp                                        
    log                     global                                     
    option                  httplog                                    
    option                  dontlognull                                
    option http-server-close                                           
    option forwardfor       except 127.0.0.0/8                         
    option                  redispatch                                 
    retries                 3                                          
    timeout http-request    10s                                        
    timeout queue           1m                                         
    timeout connect         10s                                        
    timeout client          1m                                         
    timeout server          1m                                         
    timeout http-keep-alive 10s                                        
    timeout check           10s                                        
    maxconn                 3000                                       
                                                                       
#--------------------------------------------------------------------- 
# main frontend which proxys to the backends                           
#--------------------------------------------------------------------- 
frontend  kubernetes                                                   
    bind *:6443                                                        
    mode tcp                                                           
    default_backend             kubernetes-master                      
                                                                       
#--------------------------------------------------------------------- 
# round robin balancing between the various backends                   
#--------------------------------------------------------------------- 
backend kubernetes-master                                              
    balance     roundrobin                                             
    server  master1 192.168.88.97:6443 check maxconn 2000              
    server  master2 192.168.88.98:6443 check maxconn 2000              
    server  master3 192.168.88.99:6443 check maxconn 2000              

运行如下命令启动：
systemctl start haproxy
systemctl enable haproxy

至此Haproxy+Keepalived搭建完毕。
如果对您有帮助，记得点赞~~~
持续更新搭建与踩坑过程~~~~

作者：olaH
链接：https://www.jianshu.com/p/7a41f0294f32
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。