redis中查找大key方法汇总

 

 

  redis作为一个高性能内存数据库，在实际业务中应用的非常广泛，虽然redis的性能很好，但是在实际使用过程中，如果使用不当，也会造成一些性能问题，比如数据中存在大key。什么是大key?顾名思义就是单个key中的数据比较大，通常来说，单个key的value值不会很大，这种情况下，key的读取，删除操作不会影响性能，如果value过大，读取或删除会相对耗时，大家都知道，redis是单线程，耗时操作就会阻塞其它请求，给性能上带来一些影响。所以，不管是作为开发还是运维人员，使用redis都应该经常关注数据中有没有大key，今天就说说怎样发现数据中的大key。

方法对比

1.自带命令redis-cli --bigkeys
该命令是redis自带，但是只能找出五种数据类型里最大的key。很明显，这并不能帮助我们去发现整个数据里的大key，所以一般不使用，执行后如下图：

2.python扫描脚本
这是根据脚本去扫描redis中的key，网上一搜就能找到，经实测发现，该脚本获取的大key准确度不高，更确切的说并不是获取的key的大小，而是key值的长度，比如hash类型，获取的是hash中的字段数，string类型，获取的是value的字符串长度，元素个数多并不能代表占用内存多。
find_bigkeys.py文件内容：

import sys
import redis
def check_big_key(r, k):
   bigKey = False
   length = 0 
   try:
     type = r.type(k)
     if type == "string":
       length = r.strlen(k)
     elif type == "hash":
       length = r.hlen(k)
     elif type == "list":
       length = r.llen(k)
     elif type == "set":
       length = r.scard(k)
     elif type == "zset":
       length = r.zcard(k)
   except:
     return
   if length > 102400: #key的长度条件，可更改该值
     bigKey = True
   if bigKey :
     print db,k,type,length
def find_big_key_normal(db_host, db_port, db_password, db_num):
   r = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num)
   for k in r.scan_iter(count=1000):
     check_big_key(r, k)
def find_big_key_sharding(db_host, db_port, db_password, db_num, nodecount):
   r = redis.StrictRedis(host=db_host, port=db_port, password=db_password, db=db_num)
   cursor = 0
   for node in range(0, nodecount) :
     while True:
       iscan = r.execute_command("iscan",str(node), str(cursor), "count", "1000")
       for k in iscan[1]:
         check_big_key(r, k)
       cursor = iscan[0]
       print cursor, db, node, len(iscan[1])
       if cursor == "0":
         break;
if __name__ == '__main__':
   if len(sys.argv) != 4:
      print 'Usage: python ', sys.argv[0], ' host port password '
      exit(1)
   db_host = sys.argv[1]
   db_port = sys.argv[2]
   db_password = sys.argv[3]
   r = redis.StrictRedis(host=db_host, port=int(db_port), password=db_password)
   nodecount = 1
   keyspace_info = r.info("keyspace")
   for db in keyspace_info:
     print 'check ', db, ' ', keyspace_info[db]
     if nodecount > 1:
       find_big_key_sharding(db_host, db_port, db_password, db.replace("db",""), nodecount)
     else:
       find_big_key_normal(db_host, db_port, db_password, db.replace("db", ""))

使用方法： python find_bigkey.py IP PORT redis密码，例如： python find_bigkey.py 127.0.0.1 6379 123456，执行后如图：

3.rdb_bigkeys工具
这是用go写的一款工具，分析rdb文件，找出文件中的大key，实测发现，不管是执行时间还是准确度都是很高的，一个3G左右的rdb文件，执行完大概两三分钟，直接导出到csv文件，方便查看，个人推荐使用该工具去查找大key。
工具地址： https://github.com/weiyanwei412/rdb_bigkeys
编译方法：

mkdir /home/gocode/
export GOPATH=/home/gocode/
cd GOROOT
git clone https://github.com/weiyanwei412/rdb_bigkeys.git
cd rdb_bigkeys
go get 
go build

执行完成生成可执行文件rdb_bigkeys。
使用方法： ./rdb_bigkeys --bytes 1024 --file bigkeys.csv --sep 0 --sorted --threads 4 /home/redis/dump.rdb
/home/redis/dump.rdb修改为实际的文件路径
上述命令分析dump.rdb文件中大于1024bytes的KEY， 由大到小排好序， 以CSV格式把结果输出到bigkeys.csv的文件中，文件格式如图：

每列分别为数据库编号，key类型，key名，key大小，元素数量，最大值元素名，元素大小，key过期时间。

通过比较发现，第三种方式的数据内容更丰富，更准确，个人建议采用第三种方式。各位如果觉得还有点意义，烦请点一下推荐，加个关注，互相交流。