缓存数据库介绍
NoSQL(NoSQL = Not Only SQL )，意即“不仅仅是SQL”，泛指非关系型的数据库,随着互联网web2.0网站的兴起，传统的关系数据库在应付web2.0网站，特别是超大规模和高并发的SNS类型的web2.0纯动态网站已经显得力不从心，暴露了很多难以克服的问题，而非关系型的数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战，尤其是大数据应用难题。
NoSQL数据库的四大分类
NoSQL数据库的四大分类表格分析
redis
介绍
redis是业界主流的key-value nosql 数据库之一。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。
Redis优点
-
异常快速 : Redis是非常快的，每秒可以执行大约110000设置操作，81000个/每秒的读取操作。
-
支持丰富的数据类型 : Redis支持最大多数开发人员已经知道如列表，集合，可排序集合，哈希等数据类型。
这使得在应用中很容易解决的各种问题，因为我们知道哪些问题处理使用哪种数据类型更好解决。 -
操作都是原子的 : 所有 Redis 的操作都是原子，从而确保当两个客户同时访问 Redis 服务器得到的是更新后的值（最新值）。
-
MultiUtility工具：Redis是一个多功能实用工具，可以在很多如：缓存，消息传递队列中使用（Redis原生支持发布/订阅），在应用程序中，如：Web应用程序会话，网站页面点击数等任何短暂的数据；
redis源码安装
去官网下载 https://redis.io/
源码安装redis
1.wget下载下来
2.解压 tar
3.进入redis源码包目录
4.make prefix=/data/redis install 指定安装路径
5. mkdir -p /data/redis/conf
mkdir -p /data/redis/logs
cp redis.conf /data/redis/conf
修改redis.conf 参数
配置文件主要配置
port
bind 0.0.0.0
daemonize yes 放在后台运行
LOGfile
可以通过打开 maxmemory 最大使用内存指令来防止 redis 使用过多 RAM：
动不动把自己干掉 能用多大就多大 拼命往里写
设置最大内存
538 # maxmemory <bytes>
启动redis
redis-server /data/redis/conf/redis.conf
查看 redis 是否还在运行
redis-cli
redis 127.0.0.1:6379> ping PONG
Python操作Redis
sudo pip install redis or sudo easy_install redis or 源码安装 详见：https://github.com/WoLpH/redis-py
连接方式
1、操作模式
redis-py提供两个类Redis和StrictRedis用于实现Redis的命令，StrictRedis用于实现大部分官方的命令，并使用官方的语法和命令，Redis是StrictRedis的子类，用于向后兼容旧版本的redis-py。
import redis r = redis.Redis(host='10.211.55.4', port=6379) r.set('foo', 'Bar') print r.get('foo')
2、连接池
redis-py使用connection pool来管理对一个redis server的所有连接，避免每次建立、释放连接的开销。默认，每个Redis实例都会维护一个自己的连接池。可以直接建立一个连接池，然后作为参数Redis，这样就可以实现多个Redis实例共享一个连接池。
import redis pool = redis.ConnectionPool(host='192.168.0.91',port=6379) r = redis.Redis(connection_pool=pool) r.set('name','ming') print(r.get('name'))
操作
1. String操作
redis中的String在在内存中按照一个name对应一个value来存储。如图
set(name, value, ex=None, px=None, nx=False, xx=False)
在Redis中设置值，默认，不存在则创建，存在则修改
参数：
ex，过期时间（秒）
px，过期时间（毫秒）
nx，如果设置为True，则只有name不存在时，当前set操作才执行
xx，如果设置为True，则只有name存在时，岗前set操作才执行
setnx(name, value)
设置值，只有name不存在时，执行设置操作（添加）
setex(name, value, time)
# 设置值 # 参数： # time，过期时间（数字秒 或 timedelta对象）
psetex(name, time_ms, value)
# 设置值 # 参数： # time_ms，过期时间（数字毫秒 或 timedelta对象）
mset(*args, **kwargs)
批量设置值 如： mset(k1='v1', k2='v2') 或 mget({'k1': 'v1', 'k2': 'v2'})
get(name)
获取值
mget(keys, *args)
批量获取 如： mget('ylr', 'wupeiqi') 或 r.mget(['ylr', 'wupeiqi'])
getset(name, value)
设置新值并获取原来的值
setrange(name, offset, value)
# 修改字符串内容，从指定字符串索引开始向后替换（新值太长时，则向后添加） # 参数： # offset，字符串的索引，字节（一个汉字三个字节） # value，要设置的值 127.0.0.1:6379> get name1 "jack" 127.0.0.1:6379> setrange name1 0 2 (integer) 4 127.0.0.1:6379> get name1 "2ack" 127.0.0.1:6379> setrange name1 0 bb (integer) 4 127.0.0.1:6379> get name1 "bbck" 127.0.0.1:6379> setrange name1 1 p (integer) 4 127.0.0.1:6379> get name1 "bpck"
getrange(key, start, end)
# 获取子序列（根据字节获取，非字符） # 参数： # name，Redis 的 name # start，起始位置（字节） # end，结束位置（字节） # 如： "武沛齐" ，0-3表示 "武" 127.0.0.1:6379> get name1 "bpck" 127.0.0.1:6379> getrange name1 0 2 "bpc"
strlen(name)
# 返回name对应值的字节长度（一个汉字3个字节）
incr(self, name, amount=1)
# 自增 name对应的值，当name不存在时，则创建name＝amount，否则，则自增。 # 参数： # name,Redis的name # amount,自增数（必须是整数） # 注：同incrby 127.0.0.1:6379> incr n1 (integer) 1 127.0.0.1:6379> incr n1 (integer) 2 127.0.0.1:6379> incr n1 (integer) 3
decr(self, name, amount=1)
# 自减 name对应的值，当name不存在时，则创建name＝amount，否则，则自减。 # 参数： # name,Redis的name # amount,自减数（整数） 127.0.0.1:6379> decr n1 (integer) 2 127.0.0.1:6379> get n1 "2" 127.0.0.1:6379> decr n1 (integer) 1
incrbyfloat(self, name, amount=1.0) 支持小数
# 自增 name对应的值，当name不存在时，则创建name＝amount，否则，则自增。 # 参数： # name,Redis的name # amount,自增数（浮点型）
append(key, value)
# 在redis name对应的值后面追加内容 # 参数： key, redis的name value, 要追加的字符串 127.0.0.1:6379> get name "ming" 127.0.0.1:6379> append name er (integer) 6 127.0.0.1:6379> get name "minger"
2. Hash操作
hash表现形式上有些像pyhton中的dict,可以存储一组关联性较强的数据 ， redis中Hash在内存中的存储格式如下图
hset(name, key, value)
# name对应的hash中设置一个键值对（不存在，则创建；否则，修改） # 参数： # name，redis的name # key，name对应的hash中的key # value，name对应的hash中的value # 注： # hsetnx(name, key, value),当name对应的hash中不存在当前key时则创建（相当于添加） 127.0.0.1:6379> hset info name mike (integer) 1 127.0.0.1:6379> hset info age 12 (integer) 1 127.0.0.1:6379> hset info id 15 (integer) 1
hgetall(name)
获取name对应hash的所有键值 127.0.0.1:6379> hgetall info 1) "name" 2) "mike" 3) "age" 4) "12" 5) "id" 6) "15"
hget(name,key)
# 在name对应的hash中获取根据key获取value 127.0.0.1:6379> hget info name "mike"
hkeys(name)
# 获取name对应的hash中所有的key的值 127.0.0.1:6379> hkeys info 1) "name" 2) "age" 3) "id"
hvals(name)
# 获取name对应的hash中所有的value的值 127.0.0.1:6379> HVALS info 1) "mike" 2) "12" 3) "15"
hmset(name, mapping)
# 在name对应的hash中批量设置键值对 # 参数： # name，redis的name # mapping，字典，如：{'k1':'v1', 'k2': 'v2'} # 如： # r.hmset('xx', {'k1':'v1', 'k2': 'v2'}) 127.0.0.1:6379> hmset info2 name1 jack age1 20 id 44 OK 127.0.0.1:6379> hgetall info2 1) "name1" 2) "jack" 3) "age1" 4) "20" 5) "id" 6) "44"
hmget(name, keys, *args)
# 在name对应的hash中获取多个key的值 # 参数： # name，reids对应的name # keys，要获取key集合，如：['k1', 'k2', 'k3'] # *args，要获取的key，如：k1,k2,k3 # 如： # r.mget('xx', ['k1', 'k2']) # 或 # print r.hmget('xx', 'k1', 'k2') 127.0.0.1:6379> hmget info2 name1 age1 1) "jack" 2) "20"
hexists(name, key)
# 检查name对应的hash是否存在当前传入的key 127.0.0.1:6379> HEXISTS info2 age1 (integer) 1 127.0.0.1:6379> HEXISTS info2 age0 (integer) 0 有返回1 没有返回0
hlen(name)
# 获取name对应的hash中键值对的个数
hincrby(name, key, amount=1)
# 自增name对应的hash中的指定key的值，不存在则创建key=amount # 参数： # name，redis中的name # key， hash对应的key # amount，自增数（整数）
hincrbyfloat(name, key, amount=1.0)
# 自增name对应的hash中的指定key的值，不存在则创建key=amount # 参数： # name，redis中的name # key， hash对应的key # amount，自增数（浮点数） # 自增name对应的hash中的指定key的值，不存在则创建key=amount
hscan(name, cursor=0, match=None, count=None)
Start a full hash scan with:
HSCAN myhash 0
Start a hash scan with fields matching a pattern with:
HSCAN myhash 0 MATCH order_*
Start a hash scan with fields matching a pattern and forcing the scan command to do more scanning with:
HSCAN myhash 0 MATCH order_* COUNT 1000
# 增量式迭代获取，对于数据大的数据非常有用，hscan可以实现分片的获取数据，并非一次性将数据全部获取完，从而放置内存被撑爆 # 参数： # name，redis的name # cursor，游标（基于游标分批取获取数据） # match，匹配指定key，默认None 表示所有的key # count，每次分片最少获取个数，默认None表示采用Redis的默认分片个数 # 如： # 第一次：cursor1, data1 = r.hscan('xx', cursor=0, match=None, count=None) # 第二次：cursor2, data1 = r.hscan('xx', cursor=cursor1, match=None, count=None) # ... # 直到返回值cursor的值为0时，表示数据已经通过分片获取完毕 127.0.0.1:6379> HSCAN info2 0 match n* 1) "0" 2) 1) "name1" 2) "jack"
127.0.0.1:6379> HSCAN info2 2 match *a*
1) "0"
2) 1) "name1"
2) "jack"
3) "age1"
4) "20"
3. list
List操作，redis中的List在在内存中按照一个name对应一个List来存储。如图：
lpush(name,values)
# 在name对应的list中添加元素，每个新的元素都添加到列表的最左边 # 如： # r.lpush('oo', 11,22,33) # 保存顺序为: 33,22,11 # 扩展： # rpush(name, values) 表示从右向左操作 127.0.0.1:6379> lpush names ming alex mike (integer) 3
lrange(name, start, end)
# 在name对应的列表分片获取数据 # 参数： # name，redis的name # start，索引的起始位置 # end，索引结束位置 127.0.0.1:6379> lrange names 0 -1 1) "mike" 2) "alex" 3) "ming"
RPUSH（name,values）
# 向右添加 127.0.0.1:6379> rpush names jack tom (integer) 5 127.0.0.1:6379> lrange names 0 -1 1) "mike" 2) "alex" 3) "ming" 4) "jack" 5) "tom"
llen(name)
# name对应的list元素的个数
linsert(name, where, refvalue, value))
# 在name对应的列表的某一个值前或后插入一个新值 # 参数： # name，redis的name # where，BEFORE或AFTER 前后 # refvalue，标杆值，即：在它前后插入数据 # value，要插入的数据 127.0.0.1:6379> help LINSERT LINSERT key BEFORE|AFTER pivot value summary: Insert an element before or after another element in a list since: 2.2.0 group: list 127.0.0.1:6379> LINSERT names before mike ben (integer) 6 127.0.0.1:6379> lrange names 0 -1 1) "ben" 2) "mike" 3) "alex" 4) "ming" 5) "jack" 6) "tom" 127.0.0.1:6379> LINSERT names after mike peter (integer) 7 127.0.0.1:6379> lrange names 0 -1 1) "ben" 2) "mike" 3) "peter" 4) "alex" 5) "ming" 6) "jack" 7) "tom"
r.lset(name, index, value)
# 对name对应的list中的某一个索引位置重新赋值 # 参数： # name，redis的name # index，list的索引位置 # value，要设置的值 127.0.0.1:6379> lrange names 0 -1 1) "ben" 2) "mike" 3) "peter" 4) "alex" 5) "ming" 6) "jack" 7) "tom" 127.0.0.1:6379> lset names 3 ALEX OK 127.0.0.1:6379> lrange names 0 -1 1) "ben" 2) "mike" 3) "peter" 4) "ALEX" 5) "ming" 6) "jack" 7) "tom"
r.lrem(name, value, num)
# 在name对应的list中删除指定的值 # 参数： # name，redis的name # value，要删除的值 # num， num=0，删除列表中所有的指定值； # num=2,从前到后，删除2个； # num=-2,从后向前，删除2个 127.0.0.1:6379> lrange names 0 -1 1) "ben" 2) "mike" 3) "peter" 4) "ALEX" 5) "ming" 6) "jack" 7) "tom" 127.0.0.1:6379> LREM names 1 jack (integer) 1 127.0.0.1:6379> lrange names 0 -1 1) "ben" 2) "mike" 3) "peter" 4) "ALEX" 5) "ming" 6) "tom"
lpop(name)
# 在name对应的列表的左侧获取第一个元素并在列表中移除，返回值则是第一个元素 # 更多： # rpop(name) 表示从右向左操作 127.0.0.1:6379> lpop names "ben" 127.0.0.1:6379> lpop names "mike" 127.0.0.1:6379> lrange names 0 -1 1) "peter" 2) "ALEX" 3) "ming" 4) "tom"
lindex(name, index)
在name对应的列表中根据索引获取列表元素 127.0.0.1:6379> lrange names 0 -1 1) "peter" 2) "ALEX" 3) "ming" 4) "tom" 127.0.0.1:6379> LINDEX names 1 "ALEX" 127.0.0.1:6379> LINDEX names 0 "peter"
ltrim(name, start, end)
# 在name对应的列表中移除没有在start-end索引之间的值 # 参数： # name，redis的name # start，索引的起始位置 # end，索引结束位置 127.0.0.1:6379> lrange names 0 -1 1) "peter" 2) "ALEX" 3) "ming" 4) "tom" 127.0.0.1:6379> LTRIM names 2 3 OK 127.0.0.1:6379> lrange names 0 -1 1) "ming" 2) "tom"
rpoplpush(src, dst)
# 从一个列表取出最右边的元素，同时将其添加至另一个列表的最左边 # 参数： # src，要取数据的列表的name # dst，要添加数据的列表的name 127.0.0.1:6379> lpush names2 "xiaoming" (integer) 1 127.0.0.1:6379> lrange names2 0 -1 1) "xiaoming" 127.0.0.1:6379> RPOPLPUSH names2 names "xiaoming" 127.0.0.1:6379> lrange names 0 -1 1) "xiaoming" 2) "ming" 3) "tom"
blpop(keys, timeout)
# 将多个列表排列，按照从左到右去pop对应列表的元素 删除一个值 # 参数： # keys，redis的name的集合 # timeout，超时时间，当元素所有列表的元素获取完之后，阻塞等待列表内有数据的时间（秒）, 0 表示永远阻塞 # 更多： # r.brpop(keys, timeout)，从右向左获取数据 127.0.0.1:6379> BLPOP names 2 1) "names" 2) "xiaoming" 127.0.0.1:6379> 127.0.0.1:6379> lrange names 0 -1 1) "ming" 2) "tom" 127.0.0.1:6379> BLPOP names 4 1) "names" 2) "ming" 127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> lrange names 0 -1 1) "tom" 127.0.0.1:6379> lrange names 0 -1 1) "tom" 127.0.0.1:6379> BLPOP names 4 1) "names" 2) "tom" 127.0.0.1:6379> lrange names 0 -1 (empty list or set) 127.0.0.1:6379> 127.0.0.1:6379> BLPOP names 4 (nil) (4.01s)
4.set集合操作
Set操作，Set集合就是不允许重复的列表
sadd(name,values)
# name对应的集合中添加元素 127.0.0.1:6379> sadd names3 mike mike alex alex jack jack (integer) 3 127.0.0.1:6379> 127.0.0.1:6379> SMEMBERS names3 1) "jack" 2) "alex" 3) "mike"
scard(name)
获取name对应的集合中元素个数 127.0.0.1:6379> scard names3 (integer) 3
sdiff(keys, *args)
在第一个name对应的集合中且不在其他name对应的集合的元素集合 127.0.0.1:6379> sadd names4 alex ming june (integer) 3 127.0.0.1:6379> 127.0.0.1:6379> 127.0.0.1:6379> sdiff names3 names4 1) "jack" 2) "mike" 127.0.0.1:6379> sdiff names4 names3 1) "june" 2) "ming"
sdiffstore(dest, keys, *args)
# 获取第一个name对应的集合中且不在其他name对应的集合，再将其新加入到dest对应的集合中 127.0.0.1:6379> sdiffstore n6 names3 nams4 (integer) 3 127.0.0.1:6379> SMEMBERS n6 1) "alex" 2) "jack" 3) "mike" 127.0.0.1:6379> SMEMBERS names3 1) "jack" 2) "alex" 3) "mike" 127.0.0.1:6379> SMEMBERS names4 1) "june" 2) "alex" 3) "ming" 127.0.0.1:6379> SMEMBERS n6 1) "alex" 2) "jack" 3) "mike"
sinter(keys, *args)
# 获取多一个name对应集合的交集 127.0.0.1:6379> SMEMBERS names3 1) "jack" 2) "alex" 3) "mike" 127.0.0.1:6379> SMEMBERS names4 1) "june" 2) "alex" 3) "ming" 127.0.0.1:6379> sinter names3 names4 1) "alex"
sismember(name, value)
# 检查value是否是name对应的集合的成员
127.0.0.1:6379> SMEMBERS names3
1) "jack"
2) "alex"
3) "mike"
127.0.0.1:6379> sismember names3 alex
(integer) 1
127.0.0.1:6379> sismember names3 alexa
(integer) 0
smove(src, dst, value)
# 将某个成员从一个集合中移动到另外一个集合 127.0.0.1:6379> SMEMBERS names3 1) "jack" 2) "alex" 3) "mike" 127.0.0.1:6379> SMEMBERS names4 1) "june" 2) "alex" 3) "ming" 127.0.0.1:6379> smove names3 names4 jack (integer) 1 127.0.0.1:6379> SMEMBERS names4 1) "jack" 2) "june" 3) "alex" 4) "ming" 127.0.0.1:6379> SMEMBERS names3 1) "alex" 2) "mike"
spop(name)
# 从集合的右侧（尾部）移除一个成员，并将其返回 127.0.0.1:6379> SMEMBERS names4 1) "jack" 2) "june" 3) "alex" 4) "ming" 127.0.0.1:6379> spop names4 "ming" 127.0.0.1:6379> SMEMBERS names4 1) "jack" 2) "june" 3) "alex"
srandmember(name, numbers)
# 从name对应的集合中随机获取 numbers 个元素 127.0.0.1:6379> SRANDMEMBER names4 "june" 127.0.0.1:6379> SRANDMEMBER names4 "june" 127.0.0.1:6379> SRANDMEMBER names4 "alex" 127.0.0.1:6379> SRANDMEMBER names4 "june" 127.0.0.1:6379> SRANDMEMBER names4 "june" 127.0.0.1:6379> SRANDMEMBER names4 "alex" 127.0.0.1:6379> SRANDMEMBER names4 "june" 127.0.0.1:6379> SRANDMEMBER names4 "jack" 127.0.0.1:6379> SRANDMEMBER names4 "alex" 127.0.0.1:6379> SRANDMEMBER names4 "alex"
srem(name, values)
# 在name对应的集合中删除某些值 127.0.0.1:6379> srem names4 alex (integer) 1 127.0.0.1:6379> SMEMBERS names4 1) "jack" 2) "june"
sunion(keys, *args)
# 获取多一个name对应的集合的并集 127.0.0.1:6379> sunion names3 names4 1) "june" 2) "jack" 3) "alex" 4) "mike"
sunionstore(dest,keys, *args)
# 获取多一个name对应的集合的并集，并将结果保存到dest对应的集合中 127.0.0.1:6379> SUNIONSTORE nn7 names4 (integer) 2 127.0.0.1:6379> 127.0.0.1:6379> SMEMBERS nn7 1) "june" 2) "jack" 127.0.0.1:6379> SMEMBERS names4 1) "jack" 2) "june"
sscan(name, cursor=0, match=None, count=None)
sscan_iter(name, match=None, count=None)
# 同字符串的操作，用于增量迭代分批获取元素，避免内存消耗太大 127.0.0.1:6379> SMEMBERS nn7 1) "june" 2) "jack" 127.0.0.1:6379> sscan nn7 0 match j* 1) "0" 2) 1) "june" 2) "jack"
有序集合，
在集合的基础上，为每元素排序；元素的排序需要根据另外一个值来进行比较，所以，对于有序集合，每一个元素有两个值，即：值和分数，分数专门用来做排序。
zadd(name, *args, **kwargs)
# 在name对应的有序集合中添加元素 # 如： # zadd('zz', 'n1', 1, 'n2', 2) # 或 # zadd('zz', n1=11, n2=22) name 权重 values 127.0.0.1:6379> zadd z1 15 alex 5 jack 10 rain 8 mike (integer) 0 127.0.0.1:6379> 127.0.0.1:6379> zrange z1 0 -1 1) "jack" 2) "mike" 3) "rain" 4) "alex"
r.zrange( name, start, end, desc=False, withscores=False, score_cast_func=float)
# 按照索引范围获取name对应的有序集合的元素 # 参数： # name，redis的name # start，有序集合索引起始位置（非分数） # end，有序集合索引结束位置（非分数） # desc，排序规则，默认按照分数从小到大排序 # withscores，是否获取元素的分数，默认只获取元素的值 # score_cast_func，对分数进行数据转换的函数 # 更多： # 从大到小排序 # zrevrange(name, start, end, withscores=False, score_cast_func=float) # 按照分数范围获取name对应的有序集合的元素 # zrangebyscore(name, min, max, start=None, num=None, withscores=False, score_cast_func=float) # 从大到小排序 # zrevrangebyscore(name, max, min, start=None, num=None, withscores=False, score_cast_func=float)
zcard(name)
# 获取name对应的有序集合元素的数量
zremrangebyrank(name, min, max)
# 根据排行范围删除
127.0.0.1:6379> zrange z1 0 -1
1) "jack"
2) "mike"
3) "rain"
4) "alex"
127.0.0.1:6379> ZREMRANGEBYRANK z1 2 4 (integer) 2 127.0.0.1:6379> zrange z1 0 -1 1) "jack" 2) "mike"
其他常用操作
delete(*names)
# 根据删除redis中的任意数据类型
exists(name)
# 检测redis的name是否存在
keys(pattern='*')
# 根据模型获取redis的name # 更多： # KEYS * 匹配数据库中所有 key 。 # KEYS h?llo 匹配 hello ， hallo 和 hxllo 等。 # KEYS h*llo 匹配 hllo 和 heeeeello 等。 # KEYS h[ae]llo 匹配 hello 和 hallo ，但不匹配 hillo
rename(src, dst)
# 对redis的name重命名为
type(name)
# 获取name对应值的类型