集群(cluster):将一组计算机软/硬件连接起来,高度紧密的协作完成计算工作,其中的单个计算机通常称为节点。负载均衡集群(Load Balancing):通过负载均衡器,将负载尽可能平均分摊处理。
LVS(linux virtul server)linux虚拟服务,分为三层结构:
调度器:上面的虚拟ip面向客户端,将请求发送到真实服务器上。
服务器:真正的服务器,上面可以启很多服务器(web,mail,ftp)。
共享存储:给服务器提供共享存储,是服务器拥有相同的内容。
lvs与iptables/netfilter类似,工作在INPUT链上,当客户端请求集群服务器时,LVS会强制修改报文,将报文发往POSTROUTING,再转发到节点服务器处理。两个模块:
ipvsadm 管理集群的命令工具;
ipvs 在内核上具体操作;在2.4.23前的内核上没有。
三种模式:
NAT 地址转换
1、节点必须与调度器在同一网络
2、节点上的IP为私有IP,仅用于各节点和调度器之间通信(用组播通信)
3、调度器在客户端和服务器之间,负责所有通信进出
4、节点需将网关指向调度器
5、调度器支持端口映射(将80端口改为节点上的8080)
6、节点可以是任意类型操作系统,只要能提供服务
7、并发高是,调度器是瓶颈
DR(Direct Routing一般用在生产环境中)
1、节点要和调度器在同一物理网络(根据Mac转发)
2、节点上可以是公网IP(便于远程管理和监控)
3、调度器只负责入站请求,响应报文由节点直接发给客户端
4、节点网关不指向调度器
5、不支持端口映射
工作原理:
调度器DR和真实服务器RS上都有一块网卡都有VIP,但是,当客户端请求发到路由器时,路由会事先设置静态路由直接指向DR,或让RS拒绝接受ARP请求。DR接收到后,根据算法将请求负载在一台RS上,DR会将请求的目标MAC改为那个RS的MAC,而其他报头不会改变,RS收到后,查看目标ip和MAC都是自己,所以就会解封装、处理、直接回应给客户端,再不经过DR。
DR模式下RS两个内核参数:
arp_ignore:定义接受arp请求时响应级别(eth0:222.24.24.67、eth1:192.168.1.1)
0:只要本地配置VIP地址就会响应(有人不是192.168.1.1网段的,向eth0请求192.168.1.1的MAC,eth0也会回答)[请求的只要自己有就会说出去]
1:eth0接收到的是对192.168.1.1的查询,只会回应eth1的MAC,而不回应eth0的MAC。[请求什么说什么,不管是从哪个接口请求]
2:只有本接口收到请求本接口上MAC时才响应,不会响应不是请求本接口MAC的。(只有与222.24.24.67同网段的,向eth0请求222.24.24.67的MAC,才会回应,同理eth1,)[请求的和被请求的要在同一网段]
3:不回应该网络内的arp,只对设定的回应。
4~7:保留未用。
8:不回应任何arp请求。
arp_announce:将自己的地址向外通告的级别。
0:将本地任何接口的ip地址向外通告。
1:当请求时本网络内主机时,尽量不通告。
2:通告最合适的本机地址。
一般arp_ignore=1、arp_announce=2
TUN(隧道模式)
1、节点可以跨互联网
2、节点IP是公网IP
3、调度器负责入站请求
4、节点网关不指向调度器
5、不支持端口映射
工作原理:
服务器可能在不同的地方,相距比较远。在原来的ip报文再封装一个ip,源ip为DIP,目标ip为RIP,RS收到后解封装后会看见原来的ip封装。
支持的调度算法:
1、RR(Round Robin)“轮叫”:按顺序将请求轮流均等的分配到各节点。
2、WRR(Wighted Round Robin)“加权轮叫”:根据服务器的处理能力来调度请求,(多能多劳)
3、SH(Source Hashing)将请求的源IP地址,作为散列键从静态分配的散列表,找出对应的服务器,用于session绑定。
4、DH (Destination Hashing)将请求的目标地址,作为散列键从静态分配的散列表,找出对应的服务器
5、LC(Least Connections)最少链接,动态地将网络请求调度到已建立的链接数最少的服务器上
6、WLC(Weighted Least Connections)加权最少链接,具有较高权值的服务器将承受较多的活动连接负载,调度器可以自动问询真实服务器的负载情况,并动态地调整其权值(lvs默认用该算法)
7、sed 最短期望延迟 wlc的改进版,权重大的服务器事先被挑中,(active+1)*256/weight,权重大的服务器有很多的时候,权重小的服务器可能一个都没有。
8、nqnever queue 永不排队无需队列,如果有台 realserver的连接数=0就直接分配过去,不需要在进行sed运算。
9、LBLC(Locality-Based Least Connections)基于局部的最少链接,针对目标IP地址的负载均衡,目前主要用于Cache集群系统。根据请求的目标IP地址找出该目标IP地址最近使用的服务器,若该服务器 是可用的,将请求发送到该服务器;若服务器不存在或超载,则用"最少链接"的原则选出一个可用的服务器,将请求发送到该服务器。
10、LBLCR(Locality-Based Least Connections with Replication)带复制的基于局部的最少链接,它要维护从一个 目标IP地址到一组服务器的映射,而LBLC算法维护从一个目标IP地址到一台服务器的映射。
基本配置:
安装ipvsadm
uname -r #查看内核版本
2.6.18-194.el5
rpm -q kernel-devel #查看有无内核源码
package kernel-devel is not installed #于是下载kernel-devel-2.6.25-14.fc9.i686.rpm
rpm -i kernel-devel-2.6.18-398.el5.i686.rpm
#安装后会在/usr/src/kernels中有内核源代码
ln -s /usr/src/kernels/2.6.18-398.el5-i686/ /usr/src/linux #做软链接
NAT
ipvsadm:
格式:ipvsadm -A|E -t|u|f service-address [-s scheduler]
-A 增加集群服务
ipvsadm -A -t 222.24.24.1:80 -s rr #添加一个集群服务算法为rr
-E 改服务
-t tcp
-u udp
-f 防火墙标记号
-D删除服务
ipvsadm -a|e -t|u|f service-address -r server-address [-g|i|m]
-a添加一个节点
-r表示节点服务器的ip
-g DR
-i TUN
-m NAT
ipvsadm -a -t 222.24.24.1:80 -r 192.168.1.1 -m #添加两个RS
ipvsadm -a -t 222.24.24.1:80 -r 192.168.1.2:8080 -m
-L/l 查看
-n表示用户数字ip表示主机
--rate 查看速率
--stats 查看统计
--timeout 显示超时(tcp tcpfin udp)
-C删除所有集群服务
-S保存配置 ipvsadm -S > ipvs.bak
-R加载配置 ipvsadm -R < ipvs.bak
(配置lvs是,节点之间的时间必须是一样的,误差不超过1S)
可以和调度器同步时间,ntpdate 222.24.24.1 (222.24.24.1是调度器)
或者修改/etc/ntp.conf
DR 在DR上:
sysctl -w net.ipv4.conf.eth0.arp_announce=2 设置相应arp级别
sysctl -w net.ipv4.conf.all.arp_announce=2
echo 1 > /proc/sys/net/ipv4/conf/eth0/arp_ignore
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 1 > /proc/sys/net/ipv4/ip_forward 打开转发功能
在RS:
ifconfig lo:0 222.24.24.1 配置VIP
lvs持久连接:PPC(持久端口连接)将来自同一客户端,对同一集群服务的请求始终定向至此前选定的RS。
PCC(持久客户端连接)将来自同一客户端,对所有端口的访问,都定向到之前选定的一个RS。
PNMPP(持久防火墙标记连接)将特定端口定义在同一RS,在防火墙PREROUTING链上。
lvs很优秀但是也有缺陷,没有技术支持,调度也会出现单点故障等等。