1.概述
分布式系统缓存已经变得不可或缺,本文主要阐述如何实现redis主从复制集群的负载均衡,以及 redis的"高可用"实现, 呵呵双引号的"高可用"并不是传统意义的高可用哈,而是 redis集群挂了,并不影响asp.net core 的运行, 欲知详情,请看下文.
注意: 本文主要阐述redis 的复制均衡和"高可用", 故redis 的主从复制搭建略, 请自行百度.
2.负载均衡实现
目前在tcp 负载均衡这块, haproxy 是官方实现, nginx 是三方实现, 个人偏向haproxy的简单易用. 故redis的负载均衡采用haproxy实现.
Haproxy配置文件如下:
global log 127.0.0.1 local2 #log语法：log <address_1>[max_level_1] # 全局的日志配置，使用log关键字，指定使用127.0.0.1 上的syslog服务中的local0日志设备，记录日志等级为info的日志 chroot /var/lib/haproxy #当前工作目录 pidfile /var/run/haproxy.pid #当前进程id文件 maxconn 6000 #最大并发连接数 user haproxy #所属用户 group haproxy #所属组 daemon #以守护进程方式运行haproxy stats socket /var/lib/haproxy/stats defaults mode http #默认的模式mode { tcp|http|health }，tcp是4层，http是7层，health只会返回OK log global #应用全局的日志配置 option httplog #启用日志记录HTTP请求，默认haproxy日志记录是不记录HTTP请求日志 option dontlognull # 启用该项，日志中将不会记录空连接。所谓空连接就是在上游的负载均衡器或者监控系统为了探测该 服务是否存活可用时，需要定期的连接或者获取某一固定的组件或页面，或者探测扫描端口是否在监听或开放等动作被称为空连接；官方文档中标注，如果该服务上游没有其他的负载均衡器的话，建议不要使用该参数，因为互联网上的恶意扫描或其他动作就不会被记录下来 option http-server-close #每次请求完毕后主动关闭http通道 option forwardfor except 127.0.0.0/8 #如果服务器上的应用程序想记录发起请求的客户端的IP地址，需要在HAProxy上 配置此选项， 这样 HAProxy会把客户端的IP信息发送给服务器，在HTTP请求中添加"X-Forwarded-For"字段。 启用 X-Forwarded-For，在requests头部插入客户端IP发送给后端的server，使后端server获取到客户端的真实IP。 option redispatch # 当使用了cookie时，haproxy将会将其请求的后端服务器的serverID插入到cookie中，以保证会话的SESSION持久性；而此时，如果后端的服务器宕掉了， 但是客户端的cookie是不会刷新的，如果设置此参数，将会将客户的请求强制定向到另外一个后端server上，以保证服务的正常。 retries 3 # 定义连接后端服务器的失败重连次数，连接失败次数超过此值后将会将对应后端服务器标记为不可用 timeout http-request 10s #http请求超时时间 timeout queue 1m #一个请求在队列里的超时时间 timeout connect 10s #连接超时 timeout client 1m #客户端超时 timeout server 1m #服务器端超时 timeout http-keep-alive 10s #设置http-keep-alive的超时时间 timeout check 10s #检测超时 maxconn 6000 #每个进程可用的最大连接数 listen stats #统计界面 mode http bind *:2080 stats enable stats refresh 30s stats uri /hastats stats realm Haproxy Statistics stats auth admin:admin stats admin if TRUE frontend healthcheck bind :1099 #定义外部检测机制 mode http #http 负载均衡 option httpclose option forwardfor default_backend AnuoApcNodes frontend http-in bind *:88 #监听的端口,处理请求的服务器集群为 default_backend 的配置值 mode http log global option httpclose option logasap #不等待响应结束就记录日志，表示提前记录日志，一般日志会记录响应时长，此不记录响应时长 option dontlognull #不记录空信息 capture request header Host len 20 #记录请求首部的前20个字符 capture request header Referer len 60 #referer跳转引用，就是上一级 default_backend AnuoApcNodes #处理请求的服务器集群 backend AnuoApcNodes #处理请求的服务器集群 mode http balance roundrobin #check : 下面的check 表示ha 需要检查此节点的状态 server websrv1 192.168.2.108:9090 check maxconn 6000 server websrv2 192.168.1.112:88 check maxconn 6000 listen SQLServer :1433 #tcp 负载均衡 mode tcp balance roundrobin #weight : 权重, 表示此节点的优先级,值越高(最高256) , 优先执行越高 #check port : 检测是否存活的端口 #inter : interval 检测是否存活的 时间间隔 #rise : server 从离线状态转为正常状态后, 需要复查的次数(看是否正常) #fall : server 从正常状态转换为不可用状态需要检查的次数 server SQLServer1 192.168.2.101:1433 weight 1 maxconn 6000 check port 1433 inter 2000 rise 2 fall 2 server SQLServer2 192.168.2.203:1433 weight 1 maxconn 6000 check port 1433 inter 2000 rise 2 fall 2 listen Redis :6377 #tcp 负载均衡 mode tcp balance roundrobin #weight : 权重, 表示此节点的优先级,值越高(最高256) , 优先执行越高 #check port : 检测是否存活的端口 #inter : interval 检测是否存活的 时间间隔 #rise : server 从离线状态转为正常状态后, 需要复查的次数(看是否正常) #fall : server 从正常状态转换为不可用状态需要检查的次数 server Redis1 192.168.2.101:6379 weight 1 maxconn 6000 check port 6379 inter 2000 rise 2 fall 2 server Redis2 192.168.2.102:6379 weight 1 maxconn 6000 check port 6379 inter 2000 rise 2 fall 2
其中最后的配置:
为redis的负载均衡配置, 可以看到负载了两个redis IP, 101和102 .
在实际运行中, redis的主库一般用作写, 从库用作读, so , 一般针对redis的从库进行负载.
只需将上面的两个IP 替换为自己的ip 即可完成对 redis 从库的负载.
3. asp.net core 端针对 redis "高可用"实现
实现思路: 此处的实现不是传统意义的高可用实现,而是C#端检测到redis集群挂了, 自动将redis从系统中剔除, 保证asp.net core 能继续运行
业界问题: redis 的高可用有官方实现叫sentinel , 现在应用案例并不多, 也逮到官方文档看了哈, 看了半天没看到, 有sentinel实战教程推荐的,或其他高可用实现的, 望留言 ^_^
先下载完整源码: http://pan.baidu.com/s/1i52ViWP
源码配置运行步骤如下:
如下图
3.1.配置VIPPort的值为 haproxy 暴露的redis 集群端口,如下图值
3.2.配置ClusterVIPCom值为 haproxy 所在服务器 的 IP
3.3.配置ClusterMultiIPCom 值为 redis主从复制集群中的全部从库IP, 用分号分割IP
3.4. 代码运行起来, 调用 Sample 接口, 如下图
调用URL: Get方法 http://localhost:9526/api/RedisTest/Sample
运行逻辑如下:
第一次取数据, redis没得缓存, 制造缓存对象, 缓存到redis, 成功返回.
第二次取数据, redis 有缓存, 从缓存中取, 成功返回.
第三次取数据, 假如redis挂了, 制造缓存对象, 还是成功返回.
第四次取数据, redis恢复了, 重启 asp.net core , 程序自动连接上redis, 从redis返回数据, 成功返回.
至此达到了, redis 和 asp.net core 的完全解耦, 即redis挂了不影响 asp.net core 的继续运行 .
可以想象哈, 当你半夜收到一个警报说redis挂了的时候, 你可以不慌不忙的去公司慢慢改, 因为asp.net core 还在运行, 只是慢了点而已.