基于 Haproxy 构建高可用负载均衡集群和基于Haproxy+Keepalived构建高可用负载均衡集群

实验环境：

关闭所有防火墙

192.168.200.111   haproxy+keepalived

192.168.200.112    nginx

192.168.200.113    nginx

192.168.200.115     haproxy+keepalived

一。基于HAPROXY构建负载均衡集群

5、安装配置Haproxy

5.1 安装Haproxy依赖包及源码包编译安装

[root@localhost ~]# yum -y install gcc gcc-c++ make pcre-devel bzip2-devel

[root@localhost ~]# tar xf haproxy-1.4.24.tar.gz -C /usr/src/

[root@localhost ~]# cd /usr/src/haproxy-1.4.24/

[root@localhost haproxy-1.4.24]# make TARGET=linux26 && make install

5.2 建立haproxy的配置目录及文件

[root@localhost haproxy-1.4.24]# mkdir /etc/haproxy

[root@localhost haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/

5.3 haproxy配置项的介绍

###########全局配置#########

global

 log 127.0.0.1 local0           #日志输出配置，所有日志都记录在本机系统日志，通过local0输出

 log 127.0.0.1 local1 notice    　　　　 #notice为日志级别，通常有24个级别（error warringinfo debug）

 nbproc 1   　　　　　　　　　　　　　　　　 #设置进程数量，通常是CPU核心数或者2倍

 pidfile /etc/haproxy/haproxy.pid       #haproxy 进程PID文件

 maxconn 4096               #最大连接数(需考虑ulimit-n限制 )

 #chroot /usr/share/haproxy             #chroot运行路径

 uid 99                 #用户uid

 gid 99                 #用户gid

 daemon             　　　　 #守护进程模式，以后台服务形式允许

 #debug                                 #haproxy 调试级别，建议只在开启单进程的时候调试 

 

########默认配置############

defaults

 log global                 #定义日志为global配置中的日志定义

 mode http              　　　　 #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK

 option httplog         　　　　 #日志类别，采用http日志格式记录日志

 #option  dontlognull     　　　　　　　　#不记录健康检查日志信息             

 retries 3              #检查节点服务器失败次数，连续达到三次失败，则认为节点不可用

 #option  forwardfor   　　　　　　　　　　#如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端i

 #option  httpclose                     #每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现

 maxconn 4096               #最大连接数

 contimeout 5000            #连接超时时间

 clitimeout 50000           #客户端超时时间

 srvtimeout 50000           #服务器超时时间

 #timeout check 2000      　　　　　　　　#心跳检测超时

 #timeout http-keep-alive10s   　　　　  #默认持久连接超时时间

 #timeout http-request   10s    　　　　 #默认http请求超时时间

 #timeoutqueue          1m    　　　　   #默认队列超时时间

  ########统计页面配置########

listen admin_stats

   bind 0.0.0.0:1080 　　　　　　　　　　　#设置Frontend和Backend的组合体，监控组的名称，按需要自定义名称

   mode http 　　　　　　　　　　　　　　  #http的7层模式

   option httplog 　　　　　　　　　　　　  #采用http日志格式

   #log 127.0.0.1 local0 err 　　　　　　　 #错误日志记录

　　maxconn 10 　　　　　　　　 　　　　    #默认的最大连接数

　　stats refresh 30s 　　　　　　　　　　　 #统计页面自动刷新时间

　　stats uri /stats                                 #统计页面url

　　stats realm Crushlinux Haproxy 　　　　#统计页面密码框上提示文本

　　stats auth admin:admin 　　　　　　　　#设置监控页面的用户和密码:admin,可以设置多个用户名

　　stats hide-version 　　　　　　　　       #隐藏统计页面上HAProxy的版本信息

　　#stats admin if TRUE 　　　　　　　　　   #设置手工启动/禁用，后端服务器(haproxy-1.4.9以后版本)

 

########设置haproxy 错误页面#####

　　errorfile 403 /home/haproxy/haproxy/errorfiles/403.http

　　errorfile 500 /home/haproxy/haproxy/errorfiles/500.http

　　errorfile 502 /home/haproxy/haproxy/errorfiles/502.http

　　errorfile 503 /home/haproxy/haproxy/errorfiles/503.http

　　errorfile 504 /home/haproxy/haproxy/errorfiles/504.http

 

########frontend前端配置##############

bibind *:80 　　#这里建议使用bind *:80的方式，要不然做集群高可用的时候有问题，vip切换到其他机器就不能访问了。

　　acl web hdr(host) -i www.abc.com 　　#acl后面是规则名称，-i是要访问的域名，

　　acl img hdr(host) -i img.abc.com 　　　 #如果访问www.abc.com这个域名就分发到下面的webserver 的作用域。

　　　　　　　　　　　　　　　　　　　　　　 #如果访问img.abc.com.cn就分发到imgserver这个作用域。

　　use_backend webserver if web

　　use_backend imgserver if img

 

########backend后端配置##############

backend webserver 　　　  #webserver作用域

　　mode http

　　balance roundrobin 　　#banlance roundrobin 轮询，balance source 保存session值，支持static-rr，leastconn，first，uri等参数

　　option httpchk /index.html HTTP/1.0 　　 #健康检查，检测文件，如果分发到后台index.html访问不到就不再分发给它

　　server web1 192.168.200.103:80 cookie 1 weight 1 check inter 2000 rise 2 fall 3

　　server web2 192.168.200.104:80 cookie 2 weight 1 check inter 2000 rise 2 fall 3

　　#cookie 1表示serverid为1，check inter 1500 是检测心跳频率

　　#rise 2是2次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重

 

　　backend imgserver

　　mode http

　　option httpchk /index.php

　　balance roundrobin

　　server img01 192.168.200.105:80 check inter 2000 fall 3

　　server img02 192.168.200.106:80 check inter 2000 fall 3

 

########tcp配置#################

listen test1

　　bind 0.0.0.0:90

　　mode tcp

　　option tcplog #日志类别,采用tcplog

　　maxconn 4086

　　#log 127.0.0.1 local0 debug

　　server s1 192.168.200.107:80 weight 1

　　server s2 192.168.200.108:80 weight 1

　　

5.4 haproxy 配置文件修改

[root@localhost ~]# vim /etc/haproxy/haproxy.cfg

# this config needs haproxy-1.1.28 or haproxy-1.2.1

 

global

#   log 127.0.0.1   local0

#   log 127.0.0.1   local1 notice

    log /dev/log    local0 info

    log /dev/log    local0 notice

    maxconn 4096

    uid 99

    gid 99

    daemon

 

defaults

    log global

    mode    http

    option  httplog

    retries 3

    maxconn 4096

    contimeout  5000

    clitimeout  50000

    srvtimeout  50000

 

listen  webcluster 0.0.0.0:80

    option  httpchk GET /index.html

    balance roundrobin

    server  inst1 192.168.200.112:80 check inter 2000 fall 3

    server  inst1 192.168.200.113:80 check inter 2000 fall 3

 

listen admin_stats

    bind 0.0.0.0:8000

    mode http

    option httplog

    maxconn 100

    stats refresh 30s

    stats uri /stats

    stats realm Crushlinux Haproxy

        stats auth admin:admin

    stats hide-version

　　

5.5 准备服务自启动脚本

[root@localhost ~]# cp /usr/src/haproxy-1.4.24/examples/haproxy.init /etc/init.d/haproxy

[root@localhost ~]# ln -s /usr/local/sbin/haproxy /usr/sbin/haproxy

[root@localhost ~]# chmod +x /etc/init.d/haproxy

[root@localhost ~]# /etc/init.d/haproxy start

如果启动不成功，看一看有没有80端口开启并引起的冲突，还要关闭原来留下的keepalived服务

5.6.给112和113编译安装nginx

区别：112：   echo "2222222"   > /usr/local/nginx/html/index.html

113: echo "333333"  >/usr/local/nginx/html/index.html

5.7 测试

在网页上输入192.168.200.111  

或者在115上输入

while :; do elinks http://192.168.200.111; sleep 1; done

出现2222和3333即成功

8、Haproxy 日志

8.2 修改rsyslog配置
为了便于管理，将Haproxy相关的配置独立定义到haproxy.conf 并放到/etc/rsyslog.d/ 下，rsyslog启动时会自动加载此目录下的所有配置文件。

[root@localhost ~]# vim /etc/rsyslog.d/haproxy.conf

if ($programname == 'haproxy' and $syslogserverity-text == 'info') then -/var/log/haproxy/haproxy-info.log

&~

if ($programname == 'haproxy' and $syslogserverity-text == 'notice') then -/var/log/haproxy/haproxy-notice.log

&~　　

将haproxy的info日志记录到/var/log/haproxy/haproxy-info.log中，将notice日志记录到/var/log/haproxy/haproxy-notice.log中，将notice日志记录到/var/log/haproxy/haproxy-notice
&~ 表示当写入到日志文件后，rsyslog停止处理这个信息，（rainerscript 脚本语言）

重启rsyslog服务
[root@localhost ~]# service rsyslog restart

8.4 状态统计功能测试

在网页上输入   192.168.200.111:8000/stats

 二。

基于Haproxy+Keepalived构建高可用负载均衡集群

延续上一个实验。把115的Haproxy做好，跟111一样

然后在111和115中再配置

yum -y install keepalived

vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived

global_defs {
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 192.168.200.1
smtp_connect_timeout 30
router_id LVS_DEVEL
vrrp_skip_check_adv_addr
vrrp_strict
vrrp_garp_interval 0
vrrp_gna_interval 0
}
vrrp_script chk_http_port {                    #上下对应
script "/etc/keepalived/check_haproxy.sh"     #脚本所在位置
interval 2
}
vrrp_instance VI_1 {
state MASTER                  #115的是BACKUP

interface ens32
virtual_router_id 51
priority 100                     #115的是100以内 。不包括100，也不许用小数点，一定用整数
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.200.254              #VIP
}
track_script {
chk_http_port
}
}

vim /etc/keepalived/check_haproxy.sh

#!/bin/bash
counter=$(ps -C haproxy --no-heading|wc -l)
echo "$counter"
if [ "${counter}" = "0" ]; then
/etc/init.d/haproxy start
sleep 2
counter=$(ps -C haproxy --no-heading|wc -l)
if [ "${counter}" = "0" ]; then
/etc/init.d/keepalived stop
fi
fi

chmod +x /etc/keepalived/check_haproxy.sh

systemctl start keepalived

测试

ip  a  查看 111的VIP 192.168.200.254是否出来

在112或者113上测试

记得关闭111和115的防火墙

111和115每重启或关闭一次防火墙都要iptables -F

while :; do curl 192.168.200.254; sleep 1; done

出没出来22222和333333

然后关闭keepalived

systemctl stop keepalived

查看115的VIP192.168.200.254是否存在

然后开启111的keepalived

看看是否抢夺回来

然后关闭111或者115的haproxy

/etc/init.d/haproxy stop 

查看haproxy是否开启，开启则成功（脚本检测你的haproxy关闭的话，会自动帮你开启）

netstat -lnpt |grep haproxy