zoukankan      html  css  js  c++  java
  • redis参考文档

    本文为之前整理的关于redis的文档,放到博客上一份,也方便我以后查阅。

    redis简介

    Redis是一个开源的、高性能的、基于键值对的缓存与存储系统, 通过提供多种键值数据类型来适应不同场景下的缓存与存储需求。 同时 Redis 的诸多高层级功能使其可以胜任消息队列、任务队列等不同的角色。

    官方网站:http://redis.io/

    开发语言:C

    redis安装及配置

    安装

    wget http://download.redis.io/releases/redis-3.0.7.tar.gz
    tar zxvf redis-3.0.7.tar.gz
    cd redis-3.0.7/
    make
    make install

    安装后,在/usr/local/bin下面有如下文件:

    redis-server     服务器
    redis-cli        命令行客户端
    redis-benchmark  性能测试工具
    redis-check-aof  AOF文件修复工具
    redis-check-dump RDB文件检查工具

    启动

    不指定配置文件启动,在控制台执行:redis-server

    指定配置文件启动,需要加上参数:redis-server /etc/myredis.conf

    指定端口启动:redis-server –port 6379

    以salve方式启动:redis-server –port 6380 –slaveof 127.0.0.1 6379

    可以使用redis自带的redis-cli作为客户端连接服务器

    配置

    1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程

      daemonize no

    2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定

      pidfile /var/run/redis.pid

    3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字

      port 6379

    4. 绑定的主机地址

      bind 127.0.0.1

    5. 当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能

      timeout 300

    6. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose

      loglevel verbose

    7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日志将会发送给/dev/null

      logfile stdout

    8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id

      databases 16

    9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合

      save <seconds> <changes>

      Redis默认配置文件中提供了三个条件:

      save 900 1

      save 300 10

      save 60 10000

      分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。

    10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF压缩,如果为了节省CPU时间,可以关闭该选项,但会导致数据库文件变的巨大

      rdbcompression yes

    11. 指定本地数据库文件名,默认值为dump.rdb

      dbfilename dump.rdb

    12. 指定本地数据库存放目录

      dir ./

    13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步

      slaveof <masterip> <masterport>

    14. 当master服务设置了密码保护时,slav服务连接master的密码

      masterauth <master-password>

    15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默认关闭

      requirepass foobared

    16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回max number of clients reached错误信息

      maxclients 128

    17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的vm机制,会把Key存放内存,Value会存放在swap区

      maxmemory <bytes>

    18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内只存在于内存中。默认为no

      appendonly no

    19. 指定更新日志文件名,默认为appendonly.aof

      appendfilename appendonly.aof

    20. 指定更新日志条件,共有3个可选值: no:表示等操作系统进行数据缓存同步到磁盘(快) always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全) everysec:表示每秒同步一次(折衷,默认值)

      appendfsync everysec

    21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)

      vm-enabled no

    22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享

      vm-swap-file /tmp/redis.swap

    23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0

      vm-max-memory 0

    24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vm-page-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值

      vm-page-size 32

    25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个pages将消耗1byte的内存。

      vm-pages 134217728

    26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会造成比较长时间的延迟。默认值为4

      vm-max-threads 4

    27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启

      glueoutputbuf yes

    28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法

      hash-max-zipmap-entries 64

      hash-max-zipmap-value 512

    29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)

      activerehashing yes

    30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的特定配置文件

      include /path/to/local.conf

    redis数据库管理工具

    命令行管理工具

    redis_cli是redis自带的命令行工具。

    用法示例:

    root@debian8:redis-3.0.7# redis-cli
    127.0.0.1:6379> keys *
    (empty list or set)
    127.0.0.1:6379>

    图形管理工具

    redis desktop

    https://redisdesktop.com/

    需要关闭保护模式才可以连接成功。

    redis 关闭保护模式:

    redis-server --protected-mode no

    基本操作

    这里字符串类型为例描述redis的基本操作命令,其它数据类型参考文档。

    • SET

    如果key不存在,该命令可以完成添加操作;如果key存在,该命令实现更新操作;

    SET key value
    • GET

    获取某个key所对应的值,格式如下:

    GET key
    • DEL

    删除操作,格式如下:

    DEL key
    • KEYS

    获取符合规律的键名列表,格式如下:

    KEYS pattern

    pattern支持glob风格通配符格式,具体如下:

    ?       匹配一个字符
    *       匹配任意个(包括0个)字符
    []      匹配括号间的任一字符,可以使用"-"符号表示一个
            范围,如a[b-d]可以匹配"ab","ac""ad"
    x      匹配字符x,用于转义符号。
    • EXISTS

    用于判断一个键是否存在,格式:

    EXISTS key
    • EXPIRE

    设置key的超时时间TTL(Time To Live),生存时间到期后键会自动被删除,格式:

    EXPIRE key seconds

    数据模型

    Redis是REmote DIctionary Server(远程字典服务器)的缩写, 它以字典结构存储数据,并允许其他应用通过TCP协议读写字典中的内容。 同大多数脚本语言中的字典一样,Redis字典中的键值除了可以是字符串,还可以是其他数据类型。 到目前为止 Redis 支持的键值数据类型如下:

    字符串类型

    字符串是redis最基础的数据类型,它能存储任何形式的字符串,包括二进制数据。 一个字符串类型键允许存储的数据的最大容量是512M。 常用命令如下:

    • SET

    赋值操作

    SET key value

    示例:

    SET a 5 ==> OK
    • GET

    取值操作

    GET key

    示例:

    GET a  ==> "5"
    • INCR

    递增操作,键不存在时创建并赋0,否则+1

    INCR key

    示例:

    INCR a ==> 6
    • DECR

    递减操作

    DECR key

    示例:

    DECR a ==> 5
    • INCRBY

    与incr一样,不过可以指定增加的数值

    INCRBY key num

    示例:

    INCRBY a 10   ==>  15
    • APPEND

    追加,返回追加后字符串长度

    APPEND key value

    示例:

    APPEND a 6  ==>  156
    • STRLEN

    获取字符串长度

    STRLEN key

    示例:

    STRLEN a  ==> 3
    • MSET

    同时设置多个键值

    MSET key value[key2 value2 ...]

    示例:

    MSET key1 1 key2 2 ==> OK
    • MGET

    同时获取多个键值

    MGET key1 key2 =>
    1) "1"
    2) "2"

    其它string命令参考官方手册 : http://redis.io/commands#string

    散列类型

    散列类型(hash)的键值也是一种字典结构,其存储了字段(field)和字段值的映射, 但字段值只能是字符串,不支持其他数据类型,也就是散列类型不能嵌套其他的数据类型。

    除了散列类型,Redis 的其他数据类型同样不支持数据类型嵌套。比如集合类型的每个元素都只能是字符串,不能是另一个集合或散列表等。

    散列类型适合存储对象:使用对象类别和 ID 构成键名,使用字段表示对象的属性, 而字段值则存储属性值。

    常用命令如下:

    • HSET

    设置或修改字段值

    HSET key field value
    • HGET

    获取字段值

    HGET key field
    • HMSET

    同时设置多个字段

    HMSET key field value [field value ...]
    • HMGET

    同时获取多个字段值

    HMGET key field [field ...]
    • HGETALL

    获取键中所有字段和值

    HGETALL key
    • HEXISTS

    判断字段是否存在,存在返回1,否则返回0(如果键不存在也返回0)

    HEXISTS key field

    其它hashs命令参考官方手册 : http://redis.io/commands#hash

    列表类型

    列表类型(list)可以存储一个有序的字符串列表,常用的操作是向列表两端添加元素,或者获得列表的某一个片段。

    列表类型内部是使用双向链表(double linked list)实现的,所以向列表两端添加元素的时间复杂度为O(1),获取越接近两端的元素速度就越快。 这意味着即使是一个有几千万个元素的列表,获取头部或尾部的10条记录也是极快的(和从只有20个元素的列表中获取头部或尾部的10条记录的速度是一样的)。

    这种特性使列表类型能非常快速地完成关系数据库难以应付的场景: 如社交网站的新鲜事,我们关心的只是最新的内容,使用列表类型存储, 即使新鲜事的总数达到几千万个,获取其中最新的100条数据也是极快的。 同样因为在两端插入记录的时间复杂度是O(1),列表类型也适合用来记录日志,可以保证加入新日志的速度不会受到已有日志数量的影响。

    常用命令如下:

    • LPUSH

    向列表的左边增加元素,返回增加元素后列表的长度

    LPUSH key value[ value..]
    • RPUSH

    向列表的右边增加元素

    RPUSH key value[ value..]
    • LPOP

    从列表左边移除一个元素,并返回该元素值

    LPOP key
    • RPOP

    从列表的右侧移除一个元素,并返回该元素值

    RPOP key
    • LLEN

    返回列表元素个数,键不存在时返回0

    LLEN key
    • LRANGE

    获取列表片段,start和stop支持负数,-1表示右数第一个

    LRANGE key start stop
    • LREM

    删除列表中指定的值,返回删除的元素个数

    LREM key count value
    • LINDEX

    获取指定索引元素值

    LINDEX key index
    • LSET

    设置指定索引的元素值

    LSET key index value
    • LTRIM

    只保留列表指定片段,删除其他元素

    LTRIM key start end

    其它命令参考官方手册 : http://redis.io/commands#list

    集合类型

    集合中的每个元素都不同,且没有顺序。

    常用命令如下:

    • SADD

    增加一个或多个元素

    SADD key member[ member..]
    • SREM

    移除一个或多个元素

    SREM key member[ member..]
    • SMEMBERS

    获取集合中所有的元素

    SMEMBERS key
    • SISMEMBER

    判断元素是否存在集合中

    SISMEMBER key member
    • SCARD

    获取集合的元素个数

    SCARD key
    • SRANDMEMBER

    返回1个或count个随机元素

    SRANDMEMBER key[ count]
    • SDIFF

    集合差运算

    SDIFF key[ key..]
    • SINTER

    集合交集运算

    SINTER key[ key..]
    • SUNION

    集合并集运算

    SUNION key[ key..]

    其它sets命令参考官方手册 : http://redis.io/commands#set

    有序集合类型

    在集合类型的基础上有序集合类型为每个元素都关联了一个分数,这使我们可以使用集合类型的操作之外,还能做与分数有关的操作。

    常用命令如下:

    • ZADD

    增加一个带分数的元素,如果已存在,则替换分数

    ZADD key score member[ score member..]
    • ZSCORE

    获得元素分数

    ZSCORE key member
    • ZRANGE

    获得排名在某个范围内的元素,返回按score升序排序的元素

    ZRANGE key start end[ WITHSCORES]
    • ZREVRANGE

    与zrange使用一致,返回按score降序的元素

    ZREVRANGE key start end[ WITHSCORES]
    • ZRANGEBYSCORE

    获得指定分数范围内的元素

    ZRANGEBYSCORE key min max WITHSCORES
    • ZREVRANGEBYSCORE

    获得指定分数范围内的元素,降序排序

    ZREVRANGEBYSCORE key max min WITHSCORES
    • ZINCREBY

    增加某个元素的分数

    ZINCREBY key increment member
    • ZCARD

    获取集合中元素个数 

    ZCARD key
    • ZCOUNT

    获得指定分数范围内的元素个数

    ZCOUNT KEY min max
    • ZREM

    删除一个或多个元素

    ZREM key member[ member..]
    • ZRANK

    获取分数从小到大排序的位置

    ZRANK key member

    其它sorted_set命令参考官方手册 : http://redis.io/commands#sorted_set

    redis事务

    Redis 事务可以一次执行多个命令,并且带有以下两个重要的保证:

    1. 事务是一个单独的隔离操作:

    事务中的所有命令都会序列化、按顺序地执行。 事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。

    1. 事务是一个原子操作:

    事务中的命令要么全部被执行,要么全部都不执行。

    一个事务从开始到执行会经历以下三个阶段:

    1. 开始事务(multi)
    2. 命令入队
    3. 执行事务(exec)

    示例如下:

    127.0.0.1:6379> MULTI
    OK
    127.0.0.1:6379> set var 1
    QUEUED
    127.0.0.1:6379> get var
    QUEUED
    127.0.0.1:6379> exec
    1) OK
    2) "1"
    127.0.0.1:6379>

    redis客户端开发库

    c客户端

    Redis官方推荐的C客户端是hiredis, github地址:https://github.com/redis/hiredis

    同步API

    • redisConnect

    连接redis数据库(同步方式)

    redisContext *redisConnect(const char *ip, int port);

    用法示例:

    redisContext *c = redisConnect("127.0.0.1", 6379);
    if (c == NULL || c->err) {
        if (c) {
            printf("Error: %s
    ", c->errstr);
            // handle error
        } else {
            printf("Can't allocate redis context
    ");
        }
    }
    • redisCommand

    给redis发送命令

    void *redisCommand(redisContext *c, const char *format, ...);

    用法示例:

    reply = redisCommand(context, "SET foo bar");
    
    reply = redisCommand(context, "SET foo %s", value);
    
    reply = redisCommand(context, "SET foo %b", value, (size_t)valuelen);
    
    reply = redisCommand(context, "SET key:%s %s", myid, value);
    • freeReplyObject

    释放redis资源

    void freeReplyObject(void *reply);

    其它api参考hiredis.h

    异步API

    • redisAsyncConnect

    连接redis数据库(异步方式)

    redisAsyncContext *redisAsyncConnect(const char *ip, int port);

    示例代码:

    redisAsyncContext *c = redisAsyncConnect("127.0.0.1", 6379);
    if (c->err) {
        printf("Error: %s
    ", c->errstr);
        // handle error
    }
    • redisAsyncSetConnectCallback

    redis连接回调函数

    int redisAsyncSetConnectCallback(redisAsyncContext *ac, redisConnectCallback *fn);

    示例代码:

    void connectCallback(const redisAsyncContext *c, int status) {
        if (status != REDIS_OK) {
            printf("Error: %s
    ", c->errstr);
            return;
        }
    
        printf("Connected...
    ");
    }
    
    redisAsyncSetConnectCallback(c,connectCallback);
    • redisAsyncSetDisconnectCallback

    redis断开连接的回调函数

    int redisAsyncSetDisconnectCallback(redisAsyncContext *ac, redisDisconnectCallback *fn);

    示例代码:

    void disconnectCallback(const redisAsyncContext *c, int status) {
        if (status != REDIS_OK) {
            printf("Error: %s
    ", c->errstr);
            return;
        }
        printf("Disconnected...
    ");
    }
    
    redisAsyncSetDisconnectCallback(c,disconnectCallback);
    • redisAsyncCommand

    以异步方式给redis发送命令。

    int redisvAsyncCommand(redisAsyncContext *ac, redisCallbackFn *fn, void *privdata, const char *format, va_list ap);
    int redisAsyncCommand(redisAsyncContext *ac, redisCallbackFn *fn, void *privdata, const char *format, ...);

    示例代码:

    void getCallback(redisAsyncContext *c, void *r, void *privdata) {
        redisReply *reply = r;
        if (reply == NULL) return;
        printf("argv[%s]: %s
    ", (char*)privdata, reply->str);
    
        /* Disconnect after receiving the reply to GET */
        redisAsyncDisconnect(c);
    }
    
    redisAsyncCommand(c, NULL, NULL, "SET key %b", argv[argc-1], strlen(argv[argc-1]));
    redisAsyncCommand(c, getCallback, (char*)"end-1", "GET key");
    • redisAsyncDisconnect

    断开异步连接

    void redisAsyncDisconnect(redisAsyncContext *ac);

    其它api参考async.h

    python客户端

    Redis官方推荐的Python客户端是redis-py, github地址: https://github.com/andymccurdy/redis-py

    安装方式:

    pip install redis

    或者

    easy_install redis

    使用方法

    1. 导入redis

    import redis

    2. 连接到redis

    r = redis.StrictRedis() # 默认 127.0.0.1:6379

    也可以显式指定需要连接的地址:

    r = redis.StrictRedis(host='127.0.0.1',port=6379,db=0)

    3.操作redis

    以SET和GET命令为例:

    r.set('var','1')
    print r.get('var')

    异步方式redis客户端请参考asyncio_redis: http://asyncio-redis.readthedocs.org/en/latest/

    redis作为消息队列

    工作队列模式

    redis的队列实际在代码逻辑中不需要由我们自己实现, 因此一个所谓的 RedisMQ 对象实际是一个 redis key以及对其操作的一些封装。

    可以通过list的lpush和rpop来模拟实现。

    127.0.0.1:6379> LPUSH q1 1
    (integer) 1
    127.0.0.1:6379> LPUSH q1 2
    (integer) 2
    127.0.0.1:6379> LPUSH q1 3
    (integer) 3
    127.0.0.1:6379> RPOP q1
    "1"
    127.0.0.1:6379> RPOP q1
    "2"
    127.0.0.1:6379> RPOP q1
    "3"
    127.0.0.1:6379>

    如果是优先级队列可以用zset来实现。

    订阅发布模式

    实现思想很简单,Publisher调用redis的publish方法往特定的channel发送消息,Subscriber在初始化的时候要subscribe到该channel,一旦有消息就会立即接收。

    订阅消息(redis-cli终端1):

    SUBSCRIBE first second

    发布消息(redis-cli终端2):

    PUBLISH first 1
    PUBLISH second 2

    其它命令参考: http://redis.io/commands#pubsub

    更多关于pubsub的描述详见:http://redis.io/topics/pubsub

    Redis作为消息队列与RabbitMQ的性能对比:

    http://zqdevres.qiniucdn.com/data/20110714104018/index.html

    脚本支持

    Redis提供了通过eval命令来执行Lua 5.1脚本。

    下面通过几个小例子来讲述如何在Redis服务端执行Lua脚本。

    • redis-cli中直接执行lua脚本
      127.0.0.1:6379> eval "return redis.call('set','var','123')" 0
      OK
      127.0.0.1:6379> get var
      "123"
      127.0.0.1:6379>
    • bash调用redis-cli执行
      ~$ redis-cli EVAL "return redis.call('set','var','456')" 0
      OK
      ~$ redis-cli GET var
      "456"
      ~$

          如果lua脚本内容比较长,可以将lua脚本写入文件, 然后通过redis-cli执行:

    ~$ cat test1.lua
    local msg = "test1"
    print(msg)
    redis.call('set','var',msg)
    return msg
    ~$ redis-cli EVAL "$(cat test1.lua)" 0
    "test1"
    ~$ redis-cli get var
    "test1"

    本文github地址:https://github.com/mike-zhang/redisDoc

    欢迎补充 

  • 相关阅读:
    kvm基本原理
    RAID分类
    监控MySQL主从脚本
    MySQL优化
    查看某个ip地址接在交换机的哪个接口
    rsync+inotify脚本
    docker工作流程
    雅礼集训【Day6-1】字符串
    【模拟试题】困难重重
    Loj #6069. 「2017 山东一轮集训 Day4」塔
  • 原文地址:https://www.cnblogs.com/MikeZhang/p/redisDoc_20160910.html
Copyright © 2011-2022 走看看