深入浅出Redis05-Redis集群环境的配置

一、安装redis

1，下载redis最新版

从以下redis地址下载最新版本的redis,使用使用redis-3.2.9.tar版本。

http://download.redis.io/releases/

　　此次,介绍安装redis的环境, 以下是安装环境的详细信息。

Linux版本： CentOS 6.5
IP 地址 : 192.168.253.140

　　查看Linux版本，IP地址的命令：

cat /etc/issue
ifconfig

　　为了安装Redis环境，需要进行必要的测试，首先需要关闭Linux的防火墙。

# 关闭命令：  
service iptables stop 
 
# 永久关闭防火墙
chkconfig iptables off

　　两个命令同时运行，运行完成后查看防火墙关闭状态

service iptables status

 2，需要gcc环境，如果没有执行命令安装gcc

yum install gcc-c++

3，下载redis3.0的源码包并上传至服务器

4，解压源码包

tar -zxvf redis-3.0.0.tar.gz

5，进入解压目录编译

make

6，安装redis

 make install PREFIX=/usr/local/redis

二、启动redis

1，从redis-3.0.0文件中复制redis-conf到redis的安装目录中
2，然后修改redis.conf文件

daemonize yes

3，在bin目录下启动redis

./bin/redis-server redis.conf

注意：redis默认占用端口是6379 。

4，停止redis服务

./bin/redis-cli shutdown

5， 连接到 redis服务器

 使用以下命令连接到redis远程服务器。

redis-cli -h 192.168.253.140 -p 6379

参数解释：

-h  远程redis服务器的IP地址。

-p  redis服务器对外开发的端口。

 遇到问题:

1，开启远程登录连接。

从本地远程连接CentOS 服务器上的Redis，一直报错连接不成功。经过查询资料，发现原来redis默认只能localhost登陆,所以需要开启远程登陆。解决方法如下：

1）在redis的配置文件redis.conf中，找到bind对应的项，将bind 127.0.0.1 改成了bind 0.0.0.0 。代表着局域网内的所有计算机都能访问。

如果redis服务器启动了，先关闭它。

# 注释掉原有的bind项目
#bind 127.0.0.1

bind 0.0.0.0

band localhost   只能本机访问,局域网内计算机不能访问。
bind  局域网IP    只能局域网内IP的机器访问, 本地localhost都无法访问。
bind 0.0.0.0      表示本机和局域网内IP的机器都能访问。

2）重新启动redis服务，终于一切正常了，在本地连接上redis服务器后存储数据name ,可以在远程服务器正常显示。如下图所示：

 

三、redis集群的搭建

该集群中有三个节点，每个节点有一主一备。原本需要6台虚拟机，但是为了节省资源，可以在一台虚拟机上启动6个redis实例。在此搭建一个伪分布式的集群，使用6个redis实例来模拟。向着目标前进吧，just do it 。

1，安装ruby环境

yum install ruby
yum install rubygems

使用以下命令安装ruby的redis的接口

gem install redis

如果返回以下错误信息，表示无法安装redis接口,因为无法连接到gem服务器。

需要手工下载并安装：

wget https://rubygems.global.ssl.fastly.net/gems/redis-3.2.1.gem
gem install -l ./redis-3.2.1.gem 

　　还需要将redis集群管理工具redis-trib.rb上传至服务器。

2， 在/usr/local/redis目录下创建cluster目录

cd /usr/local/redis

mkdir cluster

 3，进入cluster目录，创建以下目录 7001，7002，7003，7004，7005，7006 。

cd /usr/local/redis/cluster
mkdir 7001
mkdir 7002
mkdir 7003
mkdir 7004
mkdir 7005
mkdir 7006 

4，然后将/usr/local/redis/redis-3.*/redis.conf依次复制到7000 7002 7003 7004 7005 7006这6个目录

 可以参考以下命令完成操作。

cp /usr/local/redis/redis.conf /usr/local/redis/cluster/7001
cp /usr/local/redis/redis.conf /usr/local/redis/cluster/7002
cp /usr/local/redis/redis.conf /usr/local/redis/cluster/7003
cp /usr/local/redis/redis.conf /usr/local/redis/cluster/7004
cp /usr/local/redis/redis.conf /usr/local/redis/cluster/7005
cp /usr/local/redis/redis.conf /usr/local/redis/cluster/7006

5，修改配置文件redis.conf

首先修改7001目录文件下的redis.conf配置文件

vi /usr/local/redis/cluster/7001/redis.conf

 修改配置文件中的下面选项

port 7001
daemonize yes
cluster-enabled yes
cluster-config-file nodes7001.conf
cluster-node-timeout 5000
appendonly yes

同样再对其它配置文件进行修改

vi /usr/local/redis/cluster/7002/redis.conf
vi /usr/local/redis/cluster/7003/redis.conf
vi /usr/local/redis/cluster/7004/redis.conf
vi /usr/local/redis/cluster/7005/redis.conf
vi /usr/local/redis/cluster/7006/redis.conf

注意：不同的目录配置不同的redis.conf中的port，cluster-config-file值。

 6，启动6个redis

cd /usr/local/redis
./bin/redis-server /usr/local/redis/cluster/7001/redis.conf
./bin/redis-server /usr/local/redis/cluster/7002/redis.conf
./bin/redis-server /usr/local/redis/cluster/7003/redis.conf
./bin/redis-server /usr/local/redis/cluster/7004/redis.conf
./bin/redis-server /usr/local/redis/cluster/7005/redis.conf
./bin/redis-server /usr/local/redis/cluster/7006/redis.conf

启动之后使用命令查看redis的启动情况 ps -ef|grep redis 

[root@localhost redis]# ps -ef | grep redis
root     17243     1  0 13:25 ?        00:00:00 ./bin/redis-server 0.0.0.0:7001 [cluster]                  
root     17248     1  0 13:25 ?        00:00:00 ./bin/redis-server 0.0.0.0:7002 [cluster]                  
root     17256     1  0 13:26 ?        00:00:00 ./bin/redis-server 0.0.0.0:7003 [cluster]                  
root     17260     1  0 13:26 ?        00:00:00 ./bin/redis-server 0.0.0.0:7004 [cluster]                  
root     17264     1  0 13:26 ?        00:00:00 ./bin/redis-server 0.0.0.0:7005 [cluster]                  
root     17268     1  0 13:26 ?        00:00:00 ./bin/redis-server 0.0.0.0:7006 [cluster]                  
root     17275 17149  0 13:27 pts/0    00:00:00 grep redis
[root@localhost redis]# 

看到以上信息说明都启动成功。

7，创建redis集群

cd /usr/local/redis

./redis-trib.rb create --replicas 1 192.168.253.140:7001 192.168.253.140:7002 192.168.253.140:7003 192.168.253.140:7004 192.168.253.140:7005 192.168.253.140:7006 

命令的意义如下：
　　给定 redis-trib.rb 程序的命令是 create ， 这表示我们希望创建一个新的集群。
　　选项 --replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
　　之后跟着的其他参数则是实例的地址列表， 我们希望程序使用这些地址所指示的实例来创建新集群。
　　简单来说， 以上命令的意思就是让 redis-trib 程序创建一个包含三个主节点和三个从节点的集群。

 　　如果redis实例配置正常的话，返回如下信息，成功生成redis集群。注意：如果创建redis集群失败，只要把redis.conf中定义的 cluster-config-file 所在的文件删除，重新启动redis-server及运行redis-trib即可。

>>> Creating cluster
>>> Performing hash slots allocation on 6 nodes...
Using 3 masters:
127.0.0.1:7001
127.0.0.1:7002
127.0.0.1:7003
Adding replica 127.0.0.1:7004 to 127.0.0.1:7001
Adding replica 127.0.0.1:7005 to 127.0.0.1:7002
Adding replica 127.0.0.1:7006 to 127.0.0.1:7003
M: 98ce3e1be69335521e5928d82f7ea0214a751d2b 127.0.0.1:7001
   slots:0-5460 (5461 slots) master
M: f8856471eb35e874035d38c5bb54f2ff8987f665 127.0.0.1:7002
   slots:5461-10922 (5462 slots) master
M: 8ef8e2758c91327bc78f383e7303c0164fe47adb 127.0.0.1:7003
   slots:10923-16383 (5461 slots) master
S: 9a2ea466d8f3a4abac890ab752249e3eab0f4d74 127.0.0.1:7004
   replicates 98ce3e1be69335521e5928d82f7ea0214a751d2b
S: e960ae156a4942437ef9e4d6bc07b1b162eaa697 127.0.0.1:7005
   replicates f8856471eb35e874035d38c5bb54f2ff8987f665
S: 7a2046a101e338de2f78876b7798854e709a21fe 127.0.0.1:7006
   replicates 8ef8e2758c91327bc78f383e7303c0164fe47adb
Can I set the above configuration? (type 'yes' to accept): yes
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join....
>>> Performing Cluster Check (using node 127.0.0.1:7001)
M: 98ce3e1be69335521e5928d82f7ea0214a751d2b 127.0.0.1:7001
   slots:0-5460 (5461 slots) master
   1 additional replica(s)
S: e960ae156a4942437ef9e4d6bc07b1b162eaa697 127.0.0.1:7005
   slots: (0 slots) slave
   replicates f8856471eb35e874035d38c5bb54f2ff8987f665
S: 7a2046a101e338de2f78876b7798854e709a21fe 127.0.0.1:7006
   slots: (0 slots) slave
   replicates 8ef8e2758c91327bc78f383e7303c0164fe47adb
M: 8ef8e2758c91327bc78f383e7303c0164fe47adb 127.0.0.1:7003
   slots:10923-16383 (5461 slots) master
   1 additional replica(s)
M: f8856471eb35e874035d38c5bb54f2ff8987f665 127.0.0.1:7002
   slots:5461-10922 (5462 slots) master
   1 additional replica(s)
S: 9a2ea466d8f3a4abac890ab752249e3eab0f4d74 127.0.0.1:7004
   slots: (0 slots) slave
   replicates 98ce3e1be69335521e5928d82f7ea0214a751d2b
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@localhost redis]# 

至此集群环境搭建成功了，遇到的问题终于解决了。: )

 

四、操作redis集群

1, 使用 redis-cli命令进入集群环境

使用redis-cli命令进入集群，注意: 输入redis-cli 命令时，附带的参数 -c 不能省略，详情看redis-cli的参考资料。

本地连接redis集群例子

cd /usr/local/redis

./bin/redis-cli -c -p 7001 

 远程连接redis集群 例子

redis-cli.exe -c -h 192.168.253.140 -p 7001

2， 停止集群

cd /usr/local/redis

./bin/redis-cli redis-cli -p 7001 shutdown
./bin/redis-cli redis-cli -p 7002 shutdown
./bin/redis-cli redis-cli -p 7003 shutdown
./bin/redis-cli redis-cli -p 7004 shutdown
./bin/redis-cli redis-cli -p 7005 shutdown
./bin/redis-cli redis-cli -p 7006 shutdown

3，集群重启
有时候机器被重启了，需要重新启动集群，只需要将6台redis启起来，集群自动就会加载，恢复之前保存过的数据，不需要再次创建集群。

五、Jedis操作redis集群

1, example1

模拟的集群环境.在一台机器上启动多个redis..每个redis对应的是不同端口.在c192.168.253.140上启动的....总共3主3从 端口号对应的的是7001~7006。

import java.util.HashSet;
import java.util.Set;
import org.junit.Test;
import redis.clients.jedis.HostAndPort;
import redis.clients.jedis.JedisCluster;
import redis.clients.jedis.JedisPoolConfig;

public class TestCluster {
    @Test
    public void test1() throws Exception {
        JedisPoolConfig poolConfig = new JedisPoolConfig();
        Set<HostAndPort> nodes = new HashSet<HostAndPort>();
        HostAndPort hostAndPort = new HostAndPort("192.168.253.140", 7000);
        HostAndPort hostAndPort1 = new HostAndPort("192.168.253.140", 7001);
        HostAndPort hostAndPort2 = new HostAndPort("192.168.253.140", 7002);
        HostAndPort hostAndPort3 = new HostAndPort("192.168.253.140", 7003);
        HostAndPort hostAndPort4 = new HostAndPort("192.168.253.140", 7004);
        HostAndPort hostAndPort5 = new HostAndPort("192.168.253.140", 7005);
        nodes.add(hostAndPort);
        nodes.add(hostAndPort1);
        nodes.add(hostAndPort2);
        nodes.add(hostAndPort3);
        nodes.add(hostAndPort4);
        nodes.add(hostAndPort5);
        JedisCluster jedisCluster = new JedisCluster(nodes, poolConfig);//JedisCluster中默认分装好了连接池.
        //redis内部会创建连接池，从连接池中获取连接使用，然后再把连接返回给连接池
        String string = jedisCluster.get("a");
        System.out.println(string);            
    }
}

六、使用redis-py-cluster模块操作redis集群

 使用python操作redis集群，需要安装redis-py-cluster模块。使用以下命令安装。

 pip install redis-py-cluster

2, 实例

from rediscluster import StrictRedisCluster
import sys

def redis_cluster():
    redis_nodes =  [{'host':'192.168.253.140','port':7001},
                    {'host':'192.168.253.140','port':7002},
                    {'host':'192.168.253.140','port':7003},
                    {'host':'192.168.253.140','port':7004},
                    {'host':'192.168.253.140','port':7005},
                    {'host':'192.168.253.140','port':7006}
                   ]
    try:
        redisconn = StrictRedisCluster(startup_nodes=redis_nodes)
    except Exception as msg :
        print(  msg )
        
    redisconn.set('name','admin')
    redisconn.set('age',18)
    print( "name is: ", redisconn.get('name') )
    print( "age  is: ", redisconn.get('age') )

    redisconn.flushdb()
   
redis_cluster()

总结：

•     集群中各台机器的配置信息一致，Master/Slaver关系是在创建集群时由系统分配
•     redis集群公用16384个slot，分配给不同的Master
•     每个key最终都会位于某一个slot，读取key时会先转向到某一个slot，然后读取其中的值
•     新增集群或减少集群（如新增或减少Master）会重新分配slot

补充资料：

1，Redis-cli使用时各参数的含义和使用方法

[root@localhost redis]# redis-cli --help
redis-cli 3.2.9

Usage: redis-cli [OPTIONS] [cmd [arg [arg ...]]]
  -h <hostname>      Server hostname (default: 127.0.0.1).
  -p <port>          Server port (default: 6379).
  -s <socket>        Server socket (overrides hostname and port).
  -a <password>      Password to use when connecting to the server.
  -r <repeat>        Execute specified command N times.
  -i <interval>      When -r is used, waits <interval> seconds per command.
                     It is possible to specify sub-second times like -i 0.1.
  -n <db>            Database number.
  -x                 Read last argument from STDIN.
  -d <delimiter>     Multi-bulk delimiter in for raw formatting (default: 
).
  -c                 Enable cluster mode (follow -ASK and -MOVED redirections).
  --raw              Use raw formatting for replies (default when STDOUT is
                     not a tty).
  --no-raw           Force formatted output even when STDOUT is not a tty.
  --csv              Output in CSV format.
  --stat             Print rolling stats about server: mem, clients, ...
  --latency          Enter a special mode continuously sampling latency.
  --latency-history  Like --latency but tracking latency changes over time.
                     Default time interval is 15 sec. Change it using -i.
  --latency-dist     Shows latency as a spectrum, requires xterm 256 colors.
                     Default time interval is 1 sec. Change it using -i.
  --lru-test <keys>  Simulate a cache workload with an 80-20 distribution.
  --slave            Simulate a slave showing commands received from the master.
  --rdb <filename>   Transfer an RDB dump from remote server to local file.
  --pipe             Transfer raw Redis protocol from stdin to server.
  --pipe-timeout <n> In --pipe mode, abort with error if after sending all data.
                     no reply is received within <n> seconds.
                     Default timeout: 30. Use 0 to wait forever.
  --bigkeys          Sample Redis keys looking for big keys.
  --scan             List all keys using the SCAN command.
  --pattern <pat>    Useful with --scan to specify a SCAN pattern.
  --intrinsic-latency <sec> Run a test to measure intrinsic system latency.
                     The test will run for the specified amount of seconds.
  --eval <file>      Send an EVAL command using the Lua script at <file>.
  --ldb              Used with --eval enable the Redis Lua debugger.
  --ldb-sync-mode    Like --ldb but uses the synchronous Lua debugger, in
                     this mode the server is blocked and script changes are
                     are not rolled back from the server memory.
  --help             Output this help and exit.
  --version          Output version and exit.

Examples:
  cat /etc/passwd | redis-cli -x set mypasswd
  redis-cli get mypasswd
  redis-cli -r 100 lpush mylist x
  redis-cli -r 100 -i 1 info | grep used_memory_human:
  redis-cli --eval myscript.lua key1 key2 , arg1 arg2 arg3
  redis-cli --scan --pattern '*:12345*'

  (Note: when using --eval the comma separates KEYS[] from ARGV[] items)

When no command is given, redis-cli starts in interactive mode.
Type "help" in interactive mode for information on available commands
and settings.

[root@localhost redis]# 

2，往redis中缓存数据的时候，它怎么知道该缓存到哪个服务器上呢？？
　　Redis 集群中内置了16384 个哈希槽，搭建集群时，每台服务器上已经分配了固定的哈希槽编号。当需要在 Redis 集群中放置一个key-value（数据） 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据求余的结果，把数据映射到不同的redis服务器上。 

3，基本redis集群的操作命令：
redis 127.0.0.1:6379> info #查看server版本内存使用连接等信息
redis 127.0.0.1:6379> client list #获取客户连接列表
redis 127.0.0.1:6379> client kill 127.0.0.1:33441 #终止某个客户端连接
redis 127.0.0.1:6379> dbsize #当前保存key的数量
redis 127.0.0.1:6379> save #立即保存数据到硬盘
redis 127.0.0.1:6379> bgsave #异步保存数据到硬盘
redis 127.0.0.1:6379> flushdb #当前库中移除所有key
redis 127.0.0.1:6379> flushall #移除所有key从所有库中
redis 127.0.0.1:6379> lastsave #获取上次成功保存到硬盘的unix时间戳
redis 127.0.0.1:6379> monitor #实时监测服务器接收到的请求
redis 127.0.0.1:6379> slowlog len #查询慢查询日志条数
redis 127.0.0.1:6379> slowlog get #返回所有的慢查询日志，最大值取决于slowlog-max-len配置
redis 127.0.0.1:6379> slowlog get 2 #打印两条慢查询日志
redis 127.0.0.1:6379> slowlog reset #清空慢查询日志信息

更详细的命令请参考官网：http://redisdoc.com/
中文网站：http://www.redis.cn/commands.html

参考资料：
http://www.redis.cn/topics/cluster-tutorial.html
http://blog.csdn.net/myrainblues/article/details/25881535/
http://www.cnblogs.com/wuxl360/p/5920330.html
http://blog.csdn.net/yfkiss/article/details/38944179
http://diaocow.iteye.com/blog/1938032
http://www.cnblogs.com/guxiong/p/6270140.html
http://blog.csdn.net/ziele_008/article/details/51829429
centos配置ruby开发环境
https://my.oschina.net/u/1449160/blog/260764

http://www.cnblogs.com/gossip/p/5993401.html 

java

http://blog.csdn.net/junlong750/article/details/51362423

http://www.cnblogs.com/huali/p/5810054.html

使用强大的可视化工具redislive来监控我们的redis

http://www.cnblogs.com/huangxincheng/archive/2016/06/08/5571185.html

理论知识：

http://www.cnblogs.com/wxd0108/p/5798498.html

redis集群密码设置

http://blog.csdn.net/jtbrian/article/details/53691540