Redis集群（一）

redis是单线程，但是一般的作为缓存使用的话，redis足够了，因为它的读写速度太快了。

官方的一个简单测试：

　　　　　　测试完成了50个并发执行100000个请求。

　　　　　　设置和获取的值是一个256字节字符串。

　　　　　　结果:读的速度是110000次/s,写的速度是81000次/s 

　在这么快的读写速度下，对于一般程序来说足够用了，但是对于访问量特别大的网站来说还是稍有不足。那么如何提升redis的性能呢？搭建集群就是最好的选择。

一、概述

    Redis3.0版本之后支持Cluster.（这就意味着你的Redis要安装3.0以后的版本）

1.1、redis cluster的现状

 　　目前redis支持的cluster特性：

　　1):节点自动发现

　　2):slave->master 选举,集群容错

　　3):Hot resharding:在线分片

　　4):进群管理:cluster xxx

　　5):基于配置(nodes-port.conf)的集群管理

　　6):ASK 转向/MOVED 转向机制.

架构细节:

　　(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

　　(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

　　(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可

　　(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

1.2、FailOver设计实现

     Failover,通俗地说，一个master有N(N>=1)个slave,当master挂掉以后，能选出一个slave晋升成Master继续提供服务。
     Failover由失败判定和Leader选举两部分组成，Redis Cluster采用去中心化（Gossip）的设计，每个节点通过发送Ping（包括Gossip信息）/Pong心跳的方式来探测对方节点的存活，如果心跳超时则标记对方节点的状态为PFail，这个意思是说该节点认为对方节点可能失败了，有可能是网络闪断或者分区等其他原因导致通讯失败。

    例如节点A给节点B发Ping/Pong心跳超时，则A将B标记为PFAIL，强调一点，仅是在A看来B节点失败。要完全判定B失败，则需要一种协商的方式，需要集群中一半以上的Master节点认为B处于PFail状态，才会正式将节点B标记为Fail。
    那么问题来了，Master之间如何交换意见呢，或者说节点A如何知道其他Master也将B标记为PFfail了，并且能统计出是否有一半以上的Master认为B为PFail呢？前面提到Gossip，Gossip的主要作用就是信息交换，在A给C发Ping的时候，A将已知节点随机挑选三个节点添加到Ping包中发给C。
既然是随机，经过多次Gossip以后，A会将处于PFail的B告诉给C。在节点C上，B节点有一个失败报告的链表，A告诉C，B可能失败，将A节点添加到B节点的失败报告链表中。经过集群中所有节点之间多次Gossip，一旦B的失败报告数量超过Master数量的一半以上，就立即标记B为Fail并广播给整个集群。
    那这样还会有一个问题，假设一天之内失败报告的数量超过Master的一半以上，同时报告的时间间隔又比较大，那么就会产生误判。所以得给失败报告加上一个有效期，在一定的时间窗口内，失败报告的数量超过Master的一半以上以后标记为Fail，这样才能避免误判。
至此就把失败判定说完了，剩下还有Leader选举。
    Redis Cluster采用类似Raft的算法，有一点不同的是并不是slave之间进行投票，而是在所有Master中间进行投票。这样做的好处就是即使一主一从也能完成选举，Redis Cluster这样做也是有道理。slave不提供任务服务，如果允许挂N个节点，就得部署（2N+1）个slave，这是资源的极大浪费。

二，Redis集群部署

1，安装Redis

官方网站：https://redis.io/download

#Redis安装
wget http://download.redis.io/releases/redis-3.2.8.tar.gz
tar xzf redis-3.2.8.tar.gz
cd redis-3.2.8/src
make MANIFESTO=jemalloc && make PREFIX=/usr/local/redis-3.0.8 install
ln -s /usr/local/redis-3.0.8 /usr/local/redis
echo ' PATH=/usr/local/redis/bin/:$PATH' >> /etc/profile
source /etc/profile

#设置内核参数
sysctl vm.overcommit_memory=1
sed -i "s#daemonize no#daemonize yes#g" /data/redis/conf/redis.conf
#Redis启动测试
mkdir /data/redis/conf -p
cp /redis-3.2.8/redis.conf /data/redis/conf/
redis-server -f /data/redis/conf/redis.conf 
#关闭
redsi-cli shutdown
killall redis-server

2.配置主从复制集群

A.服务器准备：

服务器ip：10.0.0.51      端口6379
服务器ip：10.0.0.51      端口6380
服务器ip：10.0.0.51      端口6381


服务器ip：10.0.0.70      端口6382
服务器ip：10.0.0.70      端口6383
服务器ip：10.0.0.70      端口6384

注意两台服务器跑多实例，且安装的Redis版本要相同

B.修改配置文件

两台主机均修改以下配置文件
port  6379                                        //先默认端口，等会再改       
bind 本机ip                                     //默认ip为127.0.0.1 需要改为其他节点机器可访问的ip 否则创建集群时无法访问对应的端口，无法创建集群
daemonize    yes                               //redis后台运行
pidfile  /var/run/redis_6379.pid          //pidfile文件对应
cluster-enabled  yes                           //开启集群  把注释#去掉
cluster-config-file  nodes_6379.conf   //集群的配置文件  
cluster-node-timeout  15000                //请求超时  默认15秒，可自行设置
appendonly  yes   

C.创建redis节点

配置服务器10.0.0.51多实例

#复制配置文件
cp /data/redis-3.2.8/redis.conf /data/redis/conf/6379.conf
cp /data/redis-3.2.8/redis.conf /data/redis/conf/6380.conf
cp /data/redis-3.2.8/redis.conf /data/redis/conf/6381.conf

#修改配置文件端口
sed -i "s/6379/6379/g"  /data/redis/conf/6379.conf
sed -i "s/6379/6380/g"  /data/redis/conf/6380.conf
sed -i "s/6379/6381/g"  /data/redis/conf/6381.conf

#启动Redis
redis-server /data/redis/conf/6379.conf
redis-server /data/redis/conf/6380.conf
redis-server /data/redis/conf/6381.conf

 #查看服务

      ps -ef | grep redis   #查看是否启动成功

     netstat -tnlp | grep redis #可以看到redis监听端口

配置服务器10.0.0.70多实例

#复制配置文件
cp /data/redis-3.2.8/redis.conf /data/redis/conf/6382.conf
cp /data/redis-3.2.8/redis.conf /data/redis/conf/6383.conf
cp /data/redis-3.2.8/redis.conf /data/redis/conf/6384.conf

#修改配置文件端口
sed -i "s/6379/6382/g"  /data/redis/conf/6382.conf
sed -i "s/6379/6383/g"  /data/redis/conf/6383.conf
sed -i "s/6379/6384/g"  /data/redis/conf/6384.conf

#启动Redis
redis-server /data/redis/conf/6382.conf
redis-server /data/redis/conf/6383.conf
redis-server /data/redis/conf/6384.conf

 #查看服务

      ps -ef | grep redis   #查看是否启动成功

     netstat -tnlp | grep redis #可以看到redis监听端口

D.创建集群

  前面已经准备好了搭建集群的redis节点，接下来我们要把这些节点都串连起来搭建集群。官方提供了一个工具：redis-trib.rb(/usr/local/redis-3.2.1/src/redis-trib.rb) 看后缀就知道这鸟东西不能直接执行，它是用ruby写的一个程序，所以我们还得安装ruby.

两台服务器均安装Ruby，rubygems
yum -y install gcc openssl-devel libyaml-devel libffi-devel readline-devel   autoconf 
yum -y install ruby rubygems zlib-devel gdbm-devel ncurses-devel gcc-c++ automake 
 
#再用 gem 这个命令来安装 redis接口    gem是ruby的一个工具包.
#换源
gem source -l  
gem source --remove http://rubygems.org/ 
gem sources --add https://gems.ruby-china.org/ --remove https://rubygems.org/ 
gem source -l
gem install redis 

如果执行gem install redis报下面错误

   gem install redis
   ERROR:  Error installing redis:
   redis requires Ruby version >= 2.2.2.
#原因rvm版本过低

解决方案：

gpg2 --keyserver hkp://keys.gnupg.net --recv-keys D39DC0E3
curl -L get.rvm.io | bash -s stable
source /usr/local/rvm/scripts/rvm
rvm install 2.3.3
rvm use 2.3.3
rvm use 2.3.3 --default
rvm remove 2.0.0
#查看现在版本为2.3.3则对
ruby –version
gem install redis

 E.启动集群

就是靠上面这些操作 完成redis集群搭建的.

 首先确认所有的节点都启动，确认两台服务器的防火墙关闭状态，否则会出现没有路由到达的错误

#测试
在10.0.0.51服务器上执行下面语句测试连通性

/data/redis-3.2.8/src/redis-cli -h 10.0.0.51 -p 6379
/data/redis-3.2.8/src/redis-cli -h 10.0.0.70 -p 6383
/data/redis-3.2.8/src/redis-cli -h 10.0.0.70 -p 6384

在10.0.0.70服务器上执行下面语句测试连通性

redis-cli -h 10.0.0.51 -p 6379
redis-cli -h 10.0.0.51 -p 6380
redis-cli -h 10.0.0.70 -p 6384

如果上面的测试没有问题，则可进行下步操作

##在其中一台服务器执行下面命令即可
/data/redis-3.2.8/src/redis-trib.rb create --replicas 1 10.0.0.51:6379 10.0.0.51:6380 10.0.0.51:6381 
10.0.0.70:6382 10.0.0.70:6383 10.0.0.70:6384

>>> Creating cluster

>>> Performing hash slots allocation on 6 nodes...

Using 3 masters:

10.0.0.51:6379

10.0.0.70:6382

10.0.0.51:6380

Adding replica 10.0.0.70:6383 to 10.0.0.51:6379

Adding replica 10.0.0.51:6381 to 10.0.0.70:6382

Adding replica 10.0.0.70:6384 to 10.0.0.51:6380

M: d0b49faff3332cdf7389948593d4fb59caca1613 10.0.0.51:6379

   slots:0-5460 (5461 slots) master

M: 8c8a578c750b820ce074026e59d4df059eeefd9b 10.0.0.51:6380

   slots:10923-16383 (5461 slots) master

S: 731a69f9df773823be182e27e5001b95766b5528 10.0.0.51:6381

   replicates b73a3a4528920064cba668aa9452f32387292ab6

M: b73a3a4528920064cba668aa9452f32387292ab6 10.0.0.70:6382

   slots:5461-10922 (5462 slots) master

S: 139c02ceb5a2afe9eb0e350ed3170bceb3aa4c4b 10.0.0.70:6383

   replicates d0b49faff3332cdf7389948593d4fb59caca1613

S: af498152476cd4732c47292aff44a57bcd57bb63 10.0.0.70:6384

   replicates 8c8a578c750b820ce074026e59d4df059eeefd9b

Can I set the above configuration? (type 'yes' to accept): yes     #输入yes即可

 如果出现下面的错误：

则解决方案为：

1.删掉conf文件下的aof和rdb结尾的文件。

2.同时将新Node的集群配置文件删除,即：删除你redis.conf里面cluster-config-file所在的文件；

3.对新添加节点的数据库进行清除

redis-cli -h 10.0.0.51  -p 6379
登录后执行flushdb
redis-cli -h 10.0.0.51  -p 6381
登录后执行flushdb
redis-cli -h 10.0.0.51  -p 6382
登录后执行flushdb

当Redis集群配好以后，下面展示下效果