Redis——版本升级&数据迁移

前言

最近在做中间件升级工作，发现服务器redis版本较低3.2.3，为了更好利用redis新特性，于是打算把redis升级到新版本6.0.9。

注意：redis 偶数为稳定版本，奇数为开发版本。下面是升级版本的两种方法：

• 线上平滑升级
• 离线手动升级

线上平滑升级

为了能够降低服务中断时间对应用产生的影响，我们首先在另外一台服务器上，配置要升级服务器的从库，做为“替身”，然后做如下步骤。

1. 配置好从库“替身”，执行命令：slaveof 10.xxx.xxx.xxx 6379 同步数据，需要等待一段时间主库把数据同步到从库，这期间可以使用 info replication 查看对比slave和master offset 复制偏移量。
2. 让替身slave成为线上机器，同步完成后，将slave-read-only 设置为no。
3. 将线上流量引入到slave上， 此时slave成为线上机器，查看线上机器的QPS，直至为0。
4. 趁此时，卸载线上的旧Redis，然后安装新版本的Redis。
5. 新版本的Redis作为slave同步线上Redis的数据，同步完成后同样将slave-read-only设置为no, 然后将线上流量引回来，此时查看刚才的替身Redis的QPS为0即可。

在这个过程中，查看redis请求的QPS最好的方法就是通过monitor来实现：

redis-cli -h 127.0.0.1 -p 6379 monitor | cut -d "." -f1 | uniq -c

 可以通过ss -anp | grep redis:port 命令 查看连接情况：

ss -anp | grep .7777

然后可以通过ps aux命令查看具体是什么命令在连接redis：

ps aux|grep 22982

离线手动升级

离线手动升级Redis，采用以下方案进行，这也是我在生产环境使用的方案。

1. 在新的三台服务器上安装部署最新稳定版本（6.0.9）的Redis集群；
2. 使用Redis-Shake工具，将旧Redis集群上的数据迁移到新Redis集群，并验证数据完整性；
3. 修改相关应用的配置，指向新Redis集群地址，然后重启相关应用的服务；
4. 通知相关业务人员进行业务验证，新Redis集群开始运行；
5. 新Redis集群稳定运行一段时候后，将旧Redis集群进行下线操作。

1、搭建新的集群 

　　请参考：https://www.cnblogs.com/caoweixiong/p/14235807.html

2、使用Redis-Shake迁移数据

• 下载Redis-Shake

cd /opt
wget https://github.com/alibaba/RedisShake/releases/download/release-v2.0.3-20200724/redis-shake-v2.0.3.tar.gz
tar -xvf redis-shake-v2.0.3.tar.gz
cd redis-shake-v2.0.3
ls -l

• 配置Redis-Shake

1、获取源集群和目标集群的Master节点和IP：

redis-cli -h {redis_address} -p {redis_port}  cluster nodes

在命令返回的结果中，获取所有master节点的IP端口，如下如所示：

2、编辑RedisShake配置文件：

编辑redis-shake工具配置文件redis-shake.conf，补充源端与目标端所有master节点的连接信息：

log.file = /var/log/redis-shake.log
source.type = cluster
source.address = 172.16.0.150:7000;172.16.0.150:7001;172.16.0.150:7002;172.16.0.151:7000;172.16.0.151:7001;172.16.0.151:7002          #源端集群master节点
target.address = 172.16.0.89:7000; 172.16.0.89:7001;172.16.0.89:7002;172.16.0.90:7000;172.16.0.90:7001;172.16.0.90:7002               #目标集群master节点
target.rdb.output = local_dump
key_exists = rewrite

• 在线迁移（实时同步数据）

1、使用如下命令同步源Redis集群和目标Redis集群数据：

./redis-shake -type sync -conf redis-shake.conf
tail -1000f /var/log/redis-shake.log

2、执行日志中出现如下信息，代表全量数据同步完成，进入增量同步阶段：

sync rdb done.

3、执行日志出现如下信息时，代表增量同步无新增内容：

sync:  +forwardCommands=0  +filterCommands=0  +writeBytes=0

4、如果确定已经全部同步完成，且后续不会有新的业务数据进来，可手动停止同步（Ctrl + C）

redis-shake在线迁移示意图：

• 离线迁移（备份文件导入）

1、使用以下命令从源集群中导出RDB文件：

./redis-shake.linux -type dump -conf redis-shake.conf

执行日志中出现如下信息时导出备份文件完成：

导出的文件存储在RedisShake根目录下：

2、使用以下命令把RDB文件导入到目标集群

编辑RedisShake配置文件：

source.rdb.input = local_dump.0;local_dump.1;local_dump.2;local_dump.3;local_dump.4;local_dump.5    #将需要导入的文件配置到source.rdb.input中

3、执行导入命令：

./redis-shake.linux -type restore -conf redis-shake.conf

执行日志中出现如下信息时导入文件完成：

• 迁移后验证　　

数据同步结束后，可使用redis-cli工具连接Redis Cluster集群，通过info命令查看Keyspace中的Key数量，确认数据是否完整导入。

1、检查对比源端集群和目标集群中的每一个master节点的keys数量是否一致。

2、检查目标集群中的slave节点的keys数量是否跟master节点的一致。

3、如果数据不完整，可使用flushall或者flushdb命令清理实例中的缓存数据后重新同步。

参考：

• https://www.cnblogs.com/xingxia/p/redis_versions.html
• https://juejin.cn/post/6844903506801868807
• https://blog.csdn.net/jiahao1186/article/details/81038868
• https://developer.aliyun.com/article/691794
• https://github.com/alibaba/RedisShake/wiki/%E7%AC%AC%E4%B8%80%E6%AC%A1%E4%BD%BF%E7%94%A8%EF%BC%8C%E5%A6%82%E4%BD%95%E8%BF%9B%E8%A1%8C%E9%85%8D%E7%BD%AE%EF%BC%9F