Linux系统（五）负载均衡LVS集群之DR模式

序言

DR模式是lvs集群中三种负载均衡模式的其中一种，那么上一篇中我写啦关于NAT模式的搭建与原理，为什么还要有DR模式与IP隧道模式呢？

首先我们来看3张图。LVS/NAT模式如下图：

LVS/IP隧道模式，如下图：

LVS/DR模式，如下图。

上面三张图来自：http://www.linuxvirtualserver.org/zh/lvs3.html ,此文也正式是官方详细描述LVS集群中实现的三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）的工作原理，以及它们的优缺点的文章，推荐大家要详细看看。

这里我简述总结下他们的路由方式以及做一个区别：

VS/NAT模式：客户机-->请求分发服务器-->Real Server-->请求分发服务器--->客户机。

VS/DR模式:客户机-->请求分发服务器-->Real Server-->客户机。

VS/TUN模式：客户机-->请求分发服务器-->Real Server-->客户机。

由此可以看出，NAT模式的请求分发服务器会成为这个模式的瓶颈所在，因为所有请求与响应走要经过他转发。那么IP隧道模式与DR模式的区别在于，DR模式与IP隧道模式相比，DR模式没有IP封装的开销，但由于采用物理层（修改MAC地址）技术，所有服务器都必须在同一个物力网段中。

LVS/DR模式搭建详细演练

首先我先上我的整体搭建机器的架构图上来，以便更直观的搭建与理解。

 

首先配置分发器这台机器，操作很简单，跟着做就可以啦。

• 添加eth0:1网络接口

[root@localhost network-scripts]# ifconfig eth0:1 172.18.8.6 netmask 255.255.255.255   --此接口只是临时生效，下面需要配置的是永久生效
[root@localhost network-scripts]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-eth0 ifcfg-eth0:1

• 编辑由拷贝而来的ifcfg-eth0：1，需要注意的是必须把mac地址与eth0的保持一致。

[root@localhost network-scripts]# cat ifcfg-eth0:1
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
NAME="eth0:1"
DEVICE="eth0:1"
ONBOOT="yes"
IPADDR="172.18.8.6"
NETMASK="225.225.225.0"
HWADDR="00:0c:29:af:ff:3a"    

• 配置ipvsadm负载算法，如果你不知道ipvsadm是什么，请看我的博客：Linux系统（四）LVS集群负载均衡NAT模式 里面有对他的详细介绍。

[root@localhost network-scripts]# ipvsadm -A -t 172.18.8.6:80 -s rr  
[root@localhost network-scripts]# ipvsadm -a -t 172.18.8.6:80 -r 172.18.8.5 -g    
[root@localhost network-scripts]# ipvsadm -a -t 172.18.8.6:80 -r 172.18.8.4 -g

到此，分发器这台机器就配置完成啦。

然后配置Real Server

• 配置临时生效的回环接口

[root@localhost ~]# ifconfig lo:1 172.18.8.6 netmask 255.255.255.255
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:1

• 配置复制而来的回环接口配置文件ifcfg-lo:1，然后关机重启使其永久生效。

[root@localhost network-scripts]# cat ifcfg-lo:1
CE=lo:1
IPADDR=272.18.8.6
NETMASK=255.255.255.255
# If you're having problems with gated making 127.0.0.0/8 a martian,
# # you can change this to something else (255.255.255.255, for example)
ONBOOT=yes
NAME=loopback

• 这样一来，我们从图中可以看到有3个ip地址都为172.18.8.6，那么你在客户端输入172.18.8.6：80来访问web服务器的时候，那台机器响应呢？这里就需要以下2个配置，使访问172.18.8.6这个ip的请求只在分发器这台机器上处理。这两个配置在稍后会做讲解。

[root@localhost network-scripts]# echo "1">"/proc/sys/net/ipv4/conf/eno16777736/arp_ignore"
[root@localhost network-scripts]# echo "2">"/proc/sys/net/ipv4/conf/eno16777736/arp_announce"
[root@localhost network-scripts]# cat /etc/sysctl.conf
# System default settings live in /usr/lib/sysctl.d/00-system.conf.
# To override those settings, enter new settings here, or in an /etc/sysctl.d/<name>.conf file
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.ipv4.conf.eno16777736.arp_ignore=1
net.ipv4.conf.eno16777736.arp_announce=2

• 开启web服务器，我这里用的是nginx作为web服务器使用演练。

[root@localhost network-scripts]# /usr/sbin/nginx

• 另外一台Real Server如上操作一遍，即可。
• 测试，切记测试万万不要在分发起上请求172.18.8.6，这里是行不通的，你要去其他机器上测，我在如图的150机器上测试效果如下。

直接联通realserver，没问题，如下。

访问分发器ip，做到啦轮询效果，如下。

理解arp_ignore与arp_announce参数详细

arp响应限制arp_ignore:

• 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
• 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
• 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
• 3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应
• 4-7 - 保留未使用
• 8 -不回应所有（本地地址）的arp查询 

arp响应限制arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口

• 0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址
• 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
• 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.

在dr模式中我们的realserver配置arp_ignore为1：意思是不是eno16777736所在ip的请求，我不与应答。arp_announce为2：意思是我不对外公布我有出来eno16777736所在ip之外的任何ip，避免主动宣告ip使arp广播包发送过来，做出应答。

总结

接下来是大家最喜欢的总结内容啦，内容有二，如下：

1、希望能关注我其他的文章。

2、博客里面有没有很清楚的说明白，或者你有更好的方式，那么欢迎加入左上方的2个交流群，我们一起学习探讨。

序言

DR模式是lvs集群中三种负载均衡模式的其中一种，那么上一篇中我写啦关于NAT模式的搭建与原理，为什么还要有DR模式与IP隧道模式呢？

首先我们来看3张图。LVS/NAT模式如下图：

LVS/IP隧道模式，如下图：

LVS/DR模式，如下图。

上面三张图来自：http://www.linuxvirtualserver.org/zh/lvs3.html ,此文也正式是官方详细描述LVS集群中实现的三种IP负载均衡技术（VS/NAT、VS/TUN和VS/DR）的工作原理，以及它们的优缺点的文章，推荐大家要详细看看。

这里我简述总结下他们的路由方式以及做一个区别：

VS/NAT模式：客户机-->请求分发服务器-->Real Server-->请求分发服务器--->客户机。

VS/DR模式:客户机-->请求分发服务器-->Real Server-->客户机。

VS/TUN模式：客户机-->请求分发服务器-->Real Server-->客户机。

由此可以看出，NAT模式的请求分发服务器会成为这个模式的瓶颈所在，因为所有请求与响应走要经过他转发。那么IP隧道模式与DR模式的区别在于，DR模式与IP隧道模式相比，DR模式没有IP封装的开销，但由于采用物理层（修改MAC地址）技术，所有服务器都必须在同一个物力网段中。

LVS/DR模式搭建详细演练

首先我先上我的整体搭建机器的架构图上来，以便更直观的搭建与理解。

 

首先配置分发器这台机器，操作很简单，跟着做就可以啦。

• 添加eth0:1网络接口

[root@localhost network-scripts]# ifconfig eth0:1 172.18.8.6 netmask 255.255.255.255   --此接口只是临时生效，下面需要配置的是永久生效
[root@localhost network-scripts]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-eth0 ifcfg-eth0:1

• 编辑由拷贝而来的ifcfg-eth0：1，需要注意的是必须把mac地址与eth0的保持一致。

[root@localhost network-scripts]# cat ifcfg-eth0:1
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
NAME="eth0:1"
DEVICE="eth0:1"
ONBOOT="yes"
IPADDR="172.18.8.6"
NETMASK="225.225.225.0"
HWADDR="00:0c:29:af:ff:3a"    

• 配置ipvsadm负载算法，如果你不知道ipvsadm是什么，请看我的博客：Linux系统（四）LVS集群负载均衡NAT模式 里面有对他的详细介绍。

[root@localhost network-scripts]# ipvsadm -A -t 172.18.8.6:80 -s rr  
[root@localhost network-scripts]# ipvsadm -a -t 172.18.8.6:80 -r 172.18.8.5 -g    
[root@localhost network-scripts]# ipvsadm -a -t 172.18.8.6:80 -r 172.18.8.4 -g

到此，分发器这台机器就配置完成啦。

然后配置Real Server

• 配置临时生效的回环接口

[root@localhost ~]# ifconfig lo:1 172.18.8.6 netmask 255.255.255.255
[root@localhost ~]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# cp ifcfg-lo ifcfg-lo:1

• 配置复制而来的回环接口配置文件ifcfg-lo:1，然后关机重启使其永久生效。

[root@localhost network-scripts]# cat ifcfg-lo:1
CE=lo:1
IPADDR=272.18.8.6
NETMASK=255.255.255.255
# If you're having problems with gated making 127.0.0.0/8 a martian,
# # you can change this to something else (255.255.255.255, for example)
ONBOOT=yes
NAME=loopback

• 这样一来，我们从图中可以看到有3个ip地址都为172.18.8.6，那么你在客户端输入172.18.8.6：80来访问web服务器的时候，那台机器响应呢？这里就需要以下2个配置，使访问172.18.8.6这个ip的请求只在分发器这台机器上处理。这两个配置在稍后会做讲解。

[root@localhost network-scripts]# echo "1">"/proc/sys/net/ipv4/conf/eno16777736/arp_ignore"
[root@localhost network-scripts]# echo "2">"/proc/sys/net/ipv4/conf/eno16777736/arp_announce"
[root@localhost network-scripts]# cat /etc/sysctl.conf
# System default settings live in /usr/lib/sysctl.d/00-system.conf.
# To override those settings, enter new settings here, or in an /etc/sysctl.d/<name>.conf file
#
# For more information, see sysctl.conf(5) and sysctl.d(5).
net.ipv4.conf.eno16777736.arp_ignore=1
net.ipv4.conf.eno16777736.arp_announce=2

• 开启web服务器，我这里用的是nginx作为web服务器使用演练。

[root@localhost network-scripts]# /usr/sbin/nginx

• 另外一台Real Server如上操作一遍，即可。
• 测试，切记测试万万不要在分发起上请求172.18.8.6，这里是行不通的，你要去其他机器上测，我在如图的150机器上测试效果如下。

直接联通realserver，没问题，如下。

访问分发器ip，做到啦轮询效果，如下。

理解arp_ignore与arp_announce参数详细

arp响应限制arp_ignore:

• 0 - (默认值): 回应任何网络接口上对任何本地IP地址的arp查询请求
• 1 - 只回答目标IP地址是来访网络接口本地地址的ARP查询请求
• 2 -只回答目标IP地址是来访网络接口本地地址的ARP查询请求,且来访IP必须在该网络接口的子网段内
• 3 - 不回应该网络界面的arp请求，而只对设置的唯一和连接地址做出回应
• 4-7 - 保留未使用
• 8 -不回应所有（本地地址）的arp查询 

arp响应限制arp_announce:对网络接口上，本地IP地址的发出的，ARP回应，作出相应级别的限制: 确定不同程度的限制,宣布对来自本地源IP地址发出Arp请求的接口

• 0 - (默认) 在任意网络接口（eth0,eth1，lo）上的任何本地地址
• 1 -尽量避免不在该网络接口子网段的本地地址做出arp回应. 当发起ARP请求的源IP地址是被设置应该经由路由达到此网络接口的时候很有用.此时会检查来访IP是否为所有接口上的子网段内ip之一.如果改来访IP不属于各个网络接口上的子网段内,那么将采用级别2的方式来进行处理.
• 2 - 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.首要是选择所有的网络接口的子网中外出访问子网中包含该目标IP地址的本地地址. 如果没有合适的地址被发现,将选择当前的发送网络接口或其他的有可能接受到该ARP回应的网络接口来进行发送.

在dr模式中我们的realserver配置arp_ignore为1：意思是不是eno16777736所在ip的请求，我不与应答。arp_announce为2：意思是我不对外公布我有出来eno16777736所在ip之外的任何ip，避免主动宣告ip使arp广播包发送过来，做出应答。

总结

接下来是大家最喜欢的总结内容啦，内容有二，如下：

1、希望能关注我其他的文章。

2、博客里面有没有很清楚的说明白，或者你有更好的方式，那么欢迎加入左上方的2个交流群，我们一起学习探讨。