企业——LVS-DR模式负载均衡构建配置

####LVS-DR模式负载均衡构建配置###

1.过程

client -> VS -> RS -> client(VS只做调度，RS为虚拟服务器)

DR模式：直接由路由，通过改写请求报文的目的MAC地址，将请求发送给真实的服务器，服务器将相应消息直接发送给客户端

2.原理详情

（1）通过在调度器VS上修改数据包的目的MAC地址实现转发，注意源地址是CIP，目的地址仍然是VIP，（CIP（CMAC）-> VIP(VM -> RM,在二层链路层改变了MAC地址来定位））

（2）请求的报文经过调度器，而服务器响应处理后的报文无需经过调度器，因而并发访问量大时使用效率很高（和NAT模式相比）

（3）因为DR模式是通过MAC地址改写机制实现转发，因此所有RS节点和调度器只能在同一个局域网里面

（4）服务器主机需要绑定VIP地址在lo接口上，且需要配置ARP抑制

（5）服务器节点的默认网关不需要配置成LB，而是直接配置为上级路由的网关，能让服务器直接出网就可以

（6）因为DR模式的调度器只做MAC地址的改写，所以调度器就不能改写目标端口,那么服务器就得使用和VIP相同的端口提供服务

3.实验环境及其基本操作

关闭iptables和selinux

开启封装好base之后，创建的四个虚拟机

rhel6.5

VS: vm1 172.25.254.1

RS1: vm2 172.25.254.2

RS2: vm3 172.25.254.3

vip 172.25.254.100

 　　　　　　

<1>.VS

（1）vim /etc/yum.repos.d/rhel-source.repo  　　##重新配置yum源文件，配置成更高级的yum源仓库。

[rhel-source]

name=Red Hat Enterprise Linux $releasever - $basearch - Source

baseurl=http://172.25.254.77/rhel6.5

enabled=1

gpgcheck=1

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release

[HighAvailability]   ##高可用

name=HighAvailability

baseurl=http://172.25.254.77/rhel6.5/HighAvailability

gpgcheck=0

[LoadBalancer]        ##负载均衡

name=LoadBalancer

baseurl=http://172.25.254.77/rhel6.5/LoadBalancer

gpgcheck=0

==========================================================

出现的错误：

gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release在编写yum源的配置文件的时候，这一行不能删除，否则会报错

==========================================================

(2)下载ipvsadm   （在LVS调度器上安装）

　ipvsadm 的命令参数：

　-A 　　增加一台虚拟设备
   -a 　　添加真实服务器的操作
　-t 　　tcp服务地址
　-s 　　调度算法（10中调度算法rr|wrr|lc|wlc|lblc|lblcr|dh|sh|sed|nq）
　-r 　　对应的真实ip
　-g 　　rh（路由）
　rr　　调度算法：轮询

   yum install ipvsadm -y

   ipvsadm -L   ##查看是否写入策略

   ipvsadm -A -t 172.25.254.100:80 -s rr  　　 ## -s调度算法，默认为wlc加权调度算法

   ipvsadm -a -t 172.25.254.100:80 -r 172.25.254.2:80 -g

   ipvsadm -a -t 172.25.254.100:80 -r 172.25.254.3:80 -g

   ipvsadm -ln   ##查看写入的策略

　/etc/init.d/ipvsadm  save 　　　　##保存写好的策略

   ip addr add 172.25.254.100/24 dev eth0     ##临时增加

   ip addr

<2>.RS后端真实服务器的配置

   注意：RS上也必须有vip才可以建立连接

   

RS1:

   yum install httpd -y

   /etc/init.d/httpd start

   cd /var/www/html/

   vim index.html

<h1>vm2-westos.com</h1>

   ip addr add 172.25.254.100/24 dev eth0     ##临时增加

   ip addr

 　　　　　　

RS2:

   yum install httpd -y

   /etc/init.d/httpd start

   cd /var/www/html/

   vim index.html

<h1>vm3-westos.com</h1>

   ip addr add 172.25.254.100/24 dev eth0     ##临时增加

   ip addr

 　　　　　　

<3>.客户端测试

   发现连接到的ip（VS和RS的ip都一样）是随机的，因为三台server在统一VLAN下具有相同的VIP，故不能保证每次都访问到调度器

   curl 172.25.254.100　　##这里出现的是轮询的情况，是因为绑定的是 server1上的MAC地址，所以会出现轮询的效果

　　<h1>vm2-westos.com</h1>

　　<h1>vm3-westos.com</h1>

　　<h1>vm2-westos.com</h1>

　　<h1>vm3-westos.com</h1>

　　<h1>vm2-westos.com</h1>

　　<h1>vm3-westos.com</h1>

　　以上情况，server1，2，3都有可能被访问到

　　如果绑定的MAC地址是server1，则在server2，3轮询

　　如果绑定的MAC地址是sever2或sever3的，那么会发现，在测试端根本不会出现轮询，而是直接去了MAC绑定的后端服务器 （显然这样在企业中是不允许的）

   arp -an |grep 100         ##查看绑定的MAC地址的信息

? (172.25.254.100) at 52:54:00:50:cc:71 [ether] on br0　　##这里绑定的是server1的MAC地址

   arp -d 172.25.254.100     ## 删除掉刚才的绑定的策略，重新访问

   curl 172.25.254.100    　　##这里出现的就是客户端直接绑定了后端服务器的MAC地址，因此访问的时候就不会出现轮询的效果。显然这样是不被允许的。

　　<h1>vm2-westos.com</h1>

　　<h1>vm2-westos.com</h1>

　　<h1>vm2-westos.com</h1>

   arp -an |grep 100       ##出现的是 vm2/vm3的信息

<4>.为了让客户端通过VS访问服务器，需要给RS设置ARP抑制，来禁止客户端直接访问服务器

　　为了解决刚才的情况，要求只绑定 server 1 的MAC地址，因此需要对 server2/server3 上的VIP进行隐藏，即ARP抑制。

   在RS上：

   yum install arptables_jf -y　　　　##为arptables网络的用户控制过滤的守护进程

   arptables -A IN -d 172.25.254.100 -j DROP　　##当网内广播需要172.25.254.100这个ip时，它丢弃所有网内的请求

   arptables -A OUT -s 172.25.254.100 -j mangle --mangle-ip-s 172.25.254.2　　##当它自身需要在网内发包时，伪装为自己原本的ip172.25.64.2

　　　　　　　　　　　　　　　　　　　　　　## -A控制arp协议，IN添加策略，mangle转换

   /etc/init.d/arptables_jf save

   cat /etc/sysconfig/arptables  ##此文件存有arptables的记录，关掉之后，重启记录依旧存在

<5>.再一次客户端测试

　先删除现有的绑定的MAC地址

　arp  -d  172.25.254.100

   curl 172.25.254.100

   arp -d 172.25.254.100  ##多次down掉连接，查看绑定的MAC地址是否会改变

   curl 172.25.254.100

   arp -an |grep 100         ##查看地址信息，依旧是VS的MAC地址

4.VS对后端没有健康检查

   注意：因为没有健康检查，所以当一个后端的服务器down掉之后，服务端通过VS访问某服务器的时候，还是会能访问到，这就会出现错误

解决方法一：使用ldirectord

   yum install ldirectord-3.9.5-3.1.x86_64.rpm -y　　　　##在LVS调度器上安装健康检查

   rpm -ql ldirectord

   cp  /usr/share/doc/ldirectord-3.9.5/ldirectord.cf  /etc/ha.d　　　　##配置文件的母板拷到/etc/ha.d/

   cd /etc/ha.d

   vim ldirectord.cf  ##编辑文件内容

        virtual=172.25.254.100:80　　　　##VIP 地址和端口号

         real=172.25.254.2:80 gate　　##指定RealServer地址和端口，同时设定LVS工作模式，gate表示DR模式，ipip表示TUNL模式，masq表示NAT模式。

         real=172.25.254.3:80 gate

         fallback=127.0.0.1:80 gate　　##当所有的real server节点不能工作时，web服务重定向到本地的80端口的默认发布页面上。

         service=http　　##指定服务类型，对http服务做负载均衡

         scheduler=rr　　##指定调度算法，这里是rr（轮叫）算法

         #persistent=600

         #netmask=255.255.255.255

         protocol=tcp　　##指出该服务使用的协议：tcp、udp 或 fwm

         checktype=negotiate　　##指定Ldirectord的检测类型，默认为negotiate

         checkport=80　　##指出健康检查使用的端口

         request="index.html"

         #receive="Test Page"

         #virtualhost=www.x.y.z

   ipvsadm -C     ##清理规则

   ipvsadm -ln    ##查看是否清除规则

   /etc/init.d/ldirectord  restart  ##再次开启服务，又可以加载出规则

   yum install httpd -y

   cd /var/www/html/

   vim index.html

　　<h1>系统维护中。。。</h1>

<1>在客户端测试

   关闭两个服务器的http服务

   重新开起一个虚拟机vm4

   curl 172.25.254.100

<h1>系统维护中。。。</h1>

   注意:访问的是本地的httpd的发布目录，因此表示监测成功

解决方法二：使用keepalived

   /etc/init.d/ldirectord stop   ##应用之前先关掉上一个服务

（1）下载keepalived的压缩文件

   tar zxf keepalived-2.0.6.tar.gz

   ./configure --with-init=SYSV --prefix=/usr/local/keepalived/      ##将文件转成二进制文件

   make    ##编译

   make install

   

（2）创建软链接

   cd /usr/local/keepalived/etc/rc.d/init.d

   ls

   chmod +x keeppalived

   ln -s /usr/local/keepalived/etc/rc.d/init.d/keeppalived /etc/init.d

   cd ..

   cd ..

   ln -s /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig

   ln -s /usr/local/keepalived/etc/keepalived /etc

   ln -s /usr/local/keepalived/sbin/keepalived /sbin/

   ll /etc/sysconfig/keepalived ##查看软链接是否做好

   cd /usr/local

   scp -r keepalived/ vm4:/usr/local

   （将上面的创建链接操作再执行一遍）

（3）配置keepalived文件

   cd /etc/keepalived/

   vim keepalived.conf

global_defs {

   notification_email {

root@localhost

   }

   notification_email_from keepalived@localhost

   smtp_server 127.0.0.1

   smtp_connect_timeout 30

   router_id LVS_DEVEL

   vrrp_skip_check_adv_addr

   #vrrp_strict   ##注释以防其修改防火墙规则

   vrrp_garp_interval 0

   vrrp_gna_interval 0

}

vrrp_instance VI_1 {

    state MASTER

    interface eth0

    virtual_router_id 51

    priority 100     ##数值越大,优先级越高

    advert_int 1

    authentication {

        auth_type PASS

        auth_pass 1111

    }

    virtual_ipaddress {

        172.25.254.100

    }

}

virtual_server 172.25.254.100 80 {  

##VS的VIP,服务启动生效时自动添加

    delay_loop 6      ##对后端健康检查的时间

    lb_algo rr        ##调度算法

    lb_kind DR       ##模式为DR模式

    #persistence_timeout 50

    protocol TCP

    real_server 172.25.254.2 80 {

        weight 1

        TCP_CHECK {

            connect_timeout 3

            retry 3

            delay_before_retry 3

        }

    }

    real_server 172.25.254.3 80 {

        weight 1

        TCP_CHECK {

            connect_timeout 3

            retry 3

            delay_before_retry 3

        }

    }

}

   scp keepalived.conf vm4:/etc/keepalived/

   注意：因为虚拟机vm4是用来做备用VS的，是为了防止当VS（vm1）挂掉的时候，不会导致服务器瘫痪。当vm1 down掉以后，vm4就可以立即接替vm1的工作

（4）客户端测试

   当vm1，2，3，4都开启的时候

   用真机访问，是通过主VS访问服务器的

   

   当vm1，4开启，2，3关闭http服务的时候

   用真机访问的是VS的httpd的发布文件

   当vm2，3，4开启，1关闭http服务的时候

   服务不会中断，vm4会接替vm1的工作，查看的是vm4的地址信息

 　　　　　　

 　　　　　　

　　　　　　

　　　　　　

　　　　　　

5.vm1和vm4互为主备

  一个当被用的虚拟机，会有点浪费资源。所以，当服务很多的时候，可以将服务分开来当主备，这样两个服务器可以同时工作，并且互为主备

   cd /etc/keepalived/

   vim keepalived.conf

更改配置文件图片，如下：

   /erc/init.d/keepalived start