lvs+keepalived+DR搭建高可用集群

lvs+keepalived+DR搭建高可用集群

环境准备：

　　lvsserver1　　192.168.1.10

　　lvsserver2　　192.168.1.11

　　vip                   192.168.1.15

　　rs1                   192.168.1.12

　　rs2                   192.168.1.13

lvsserver1和lvsserver2操作：

开启路由转发

临时生效　　echo "1" > /proc/sys/net/ipv4/ip_forward

永久生效　　vim /etc/sysctl.conf

　　　　　　net.ipv4.ip_forward = 1

安装ipvsadm以及keepadlived
[root@lvs1 ~]# yum install gcc* c++ * autoconf automake zlib*  libxml* ncurses-devel libmcrypt* libtool-ltdl-devel* popt-devel libnl-devel kernel-devel ipvsadm
[root@lvs1 ~]# wget http://www.keepalived.org/software/keepalived-1.1.19.tar.gz    //不推荐使用最新版本
[root@lvs1 ~]# tar -xf keepalived-1.1.19.tar.gz    
[root@lvs1 ~]# ./configure
Keepalived configuration

------------------------

Keepalived version : 1.1.17
Compiler : gcc
Compiler flags : -g -O2
Extra Lib : -lpopt -lssl -lcrypto
Use IPVS Framework : No            **使用IPVS框架，也就是负载均衡模块
IPVS sync daemon support : No    **启用IPVS同步功能
Use VRRP Framework : Yes        **实现高可用的必须模块
Use LinkWatch : No
Use Debug flags : No

当出现这两个为No的时候，则需以下操作

[root@lvs1 ~]# ./configure --with-kernel-dir=/usr/src/kernels/2.6.32-754.11.1.el6.x86_64/
[root@lvs1 ~]# make
[root@lvs1 ~]# make install
[root@lvs1 ~]# cp -a /usr/local/etc/rc.d/init.d/keepalived /etc/init.d/
[root@lvs1 ~]# cp -a /usr/local/etc/sysconfig/keepalived /etc/sysconfig/ 
[root@lvs1 ~]# mkdir -p /etc/keepalived 
[root@lvs1 ~]# cp -a /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/ 
[root@lvs1 ~]# cp -a /usr/local/sbin/keepalived /usr/bin/
[root@lvs1 ~]# cd /etc/keepalived && cp -a keepalived.conf keepalived.conf.bak
[root@lvs1 ~]# cat keepalived.conf
[root@lvs1 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived

global_defs {
   router_id LVS_MASTER             **标识本节点的字条串，通常通知邮件会用到。一般设置hostname
}

vrrp_instance VI_1 {    
    state MASTER                    **标识机器的状态，从则为BACKUP
    interface eth0                  **绑定ip地址接口
    lvs_sync_daemon_inteface eth0　　**负载均衡之间的监控接口，类似于HA HeartBeat的心跳线
    virtual_router_id 51            **虚拟路由id，两台机器必须一样
    priority 150                    **优先级，master必须比backup大，从为100
    advert_int 1                    **发VRRP的间隔时间，即多久一次master选举
    authentication {　　　　　　　　　　**认证区域
        auth_type PASS
        auth_pass 123456 
    }
    virtual_ipaddress {
    172.30.21.230                    **定义一个vip
    }
}

virtual_server 192.168.1.15 443 {　　 **定义虚拟服务器
    delay_loop 6　　　　　　　　　　　　 **定义健康检查间隔
    lb_algo rr　　　　　　　　　　　　　 **负载均衡调度算法
    lb_kind DR　　　　　　　　　　　　　　**负载均衡机制
    #nat_mask 255.255.255.0　　　　　　**子网掩码
    persistence_timeout 50　　　　　　　**会话保持时间，提供动态保持session，同一ip在该时间内分配到同一服务器
    protocol TCP　　　　　　　　　　　　　**转发协议类型，支持TCP/UDP

    real_server 192.168.1.12 443 {　　**定义节点服务器
    weight 3　　　　　　　　　　　　　　　**权重
        TCP_CHECK {　　　　　　　　　　　　**健康监测方式，支持HTTP_GET,SSL_GET,TCP_CHECK,SNMP_CHECK,MISC_CHECK
            connect_timeout 3　　　　　　**无响应时间，单位秒
            nb_get_retry 3　　　　　　　　**重试次数
            delay_before_retry 3　　　　**重试间隔，单位秒
            connect_port 443　　　　　　**监测端口，不指定时默认为real_server端口
        }
    }

    real_server 192.168.1.13 443 {
    weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 443
        }
        }
}

virtual_server 192.168.1.15 2222 {
    delay_loop 6
    lb_algo rr
    lb_kind DR
    #nat_mask 255.255.255.0
    persistence_timeout 50
    protocol TCP

    real_server 192.168.1.12 2222 {
    weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 2222
            }
        }

    real_server 192.168.1.13 2222 {
    weight 3
        TCP_CHECK {
            connect_timeout 3
            nb_get_retry 3
            delay_before_retry 3
            connect_port 2222
               }
        }
}

两台机器都启动keepalived以及ipvsadm
[root@lvs1 ~]# ip addr    **查看vip在哪

rs1和rs2操作：

[root@lvs-nginx1 ~]# cat /etc/init.d/lvs 
#!/bin/bash

VIP=192.168.1.15

/etc/rc.d/init.d/functions

case "$1" in

start)
           echo "start LVS of RealServer DR"
           /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask 255.255.255.255 up
           echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore
           echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce
           echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore
           echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce 
       ;;
stop)
           /sbin/ifconfig lo:0 down
           echo "close LVS of RealServer DR"
           echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore
           echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce
           echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore
           echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce
           ;;
*)
          echo "Usage: $0 {start|stop}"
          exit 1
esac

exit 0

[root@lvs-nginx1 ~]# /etc/init.d/lvs start
[root@lvs-nginx1 ~]# echo "/etc/init.d/lvs start" >> /etc/rc.d/rc.local

最后使用ipvsadm -L查看结果以及切换演练

nginx.conf 开启 stream {
        include /etc/nginx/tcp/*.conf;
}

#stream {
        upstream aaa_ssh {
        server xxxx:2222;
        server xxxx:2222;
        hash $remote_addr consistent;
        }

        upstream aaa_ssl {
        server xxxx:443;
        hash $remote_addr consistent;
        }

        server {
        listen  2222 so_keepalive=on;	因为是22端口，所以开启长连接
        proxy_pass      aaa_ssh;
        proxy_connect_timeout 60;
        proxy_timeout 1h;
        #include        proxy.conf;
        }

        server {
        listen  443;
        proxy_pass      aaa_ssl;
        proxy_connect_timeout 60;
        #include        proxy.conf;
        }

#}