每天五分钟带你了解Redis

前言

在web应用发展的初期，那时关系型数据库受到了较为广泛的关注和应用，原因是因为那时候web站点基本上访问和并发不高，交互也较少。现在随着访问量的提升，使用关系型数据的web站点多多少少都开始在性能上出现一些瓶颈，二瓶颈的源头一般是在磁盘的I/O上，而随着互联网技术的进一步发展，各种类型的应用层出不穷，这导致在当今云计算、大数据盛行的时代，对性能有了更多的需求，主要体现在一下四个方面：

①、低延迟的读写速度和流量和速度：应用快速的反应能极大的提升用户 的满意度

②、支撑海量的数据和流量：对于搜索这样大型应用而言，需要利用PB级别的数据和能应对百万级的流量

③、大规模集群的管理：系统管理员希望分布式应用能更简单的部署和管理

④、庞大运营成本的考量： IT部门希望在硬件成本、软件成本和人力成本能够大幅度地降低

为了克服运营成本的考量，NoSQL因此而生，它同时具备高性能、可扩展性强、高可用等优点，受到广泛开发人员和仓库管理员的青睐

  

一、关系型数据库和非关系型数据库

1、关系型数据库

①、一个结构化的数据库，创建在关系型基础上

②、一般面向于记录

③、包括：Oracle、MySQL、SQL Server、Microsoft Access、DB2等

2、非关系型数据库

①、除了主流的关系型数据库外的数据库，都 认为是非关系型

②、包括：Redis、MongBD、Hbase、CouhDB等

3、非关系型数据库产生背景

①、High performance——对数据库高并发读写需求

②、Huge Storage——对海量数据高效存储与访问需求

③、High Scalability && High Availability——对数据库高可扩展性与高可用性需求

二、Redis是什么

1、Redis是现在最受欢迎的NoSQL数据库之一，Redis是一个使用ANSIC编写的开源、包含多种数据结构，支持网络、基于内存、可选持久性的健康值对存储数据库，其具备如下特性：

①、基于内存运行，性能高效

②、支持分布式，理论上可以无限扩展

③、key-value 存储系统

④、开源的使用ANSIC语言编写、遵守BSD协议，支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语音的API

2、相比于其他数据库类型，Redis具备的特点：

①、C/S通讯模型

②、单进程单线程模型

③、丰富的数据类型

④、操作具有原子性

⑤、持久化

⑥、高并发读写

⑦、支持lua脚本

3、那些大公司在使用Redis

微博、阿里巴巴、百度、美团、搜狐等。

三、Redis的数据类型及主要特性

Redis提供数据类型只要分为5种自有类型和一种自定义类型，这5种自有类型包括：String类型，哈希类型，列表类型、集合类型和有序集合类型。

1、String类型

它是一个二进制安全的字符串，意味着它不仅能够存储字符串、还能存储图片、视频等多种类型，最大长度支持512M。

对每种数据类型，Redis都提供了丰富的操作命令，如：

①GET/MGET

②SET/SETEX/MSET/MSETNX

③INCR/DECR

④GETSET

⑤DEL

3.2、哈希类型

该类型是由field和关联的value组成的map。其中，field和value都是字符串类型的。Redis是一个键值的集合。每个hash可以存储2的32次方-1个键值对

Hash的操作命令如下：

①HGET/HMGET/HGETALL

②HSET/HMSET/HSETNX

③HEXISTS/HLEN

④HKEYS/HDEL

⑤HVALS

3.3、列表类型

该类型是一个插入顺序排序、可以重复的字符串元素集合, 基于双链表实现。可以添加一个元素到列表的头部（左边）或者尾部，列表最多可存储2的32次方-1个元素

List的操作命令如下：

①LPUSH/LPUSHX/LPOP/RPUSH/RPUSHX/RPOP/LINSERT/LSET

②LINDEX/LRANGE

③LLEN/LTRIM

3.4、集合类型 

Set类型是一种无顺序集合, 它和List类型最大的区别是：集合中的元素没有顺序, 且元素是唯一的。

Set类型的底层是通过哈希表实现的，其操作命令为：

①SADD/SPOP/SMOVE/SCARD

②SINTER/SDIFF/SDIFFSTORE/SUNION

Set类型主要应用于：在某些场景，如社交场景中，通过交集、并集和差集运算，通过Set类型可以非常方便地查找共同好友、共同关注和共同偏好等社交关系。

3.5、有序集合类型 

ZSet是一种有序集合类型，每个元素都会关联一个double类型的分数权值，通过这个权值来为集合中的成员进行从小到大的排序。与Set类型一样，其底层也是通过哈希表实现的。

ZSet命令：

①ZADD/ZPOP/ZMOVE/ZCARD/ZCOUNT

②ZINTER/ZDIFF/ZDIFFSTORE/ZUNION

 

四、Redis配置文件

4.1、配置参数（/etc/redis/6379.conf）

①bind：监听的主机地址

②port：端口

③daemonize yes：启用守护进程

④pidfile：指定PID文件

⑤loglevel notice：日志级别

⑥logfile：指定日志文件

4.2、key相关命令

①keys：获取符合规则的键值列表

②exists：判断键值是否存在

③del：删除当前数据库的指定key

④type：获取key对应的value值类型

⑤rename（覆盖）/renamenx（不覆盖）：重命名

⑥dbsize：查看当前数据库中key的数目

4.3、redis-benchmark测试工具

① -h：指定服务器的主机名

② -p：指定服务器端口

③ -c：指定并发连接数

④ -n：指定请求数

⑤ -d：以字节的形式指定SET/GET值的数据大小

⑥ -q：强制退出Redis，仅显示query/sec值

 

五、Redis安装部署

5.1、操作步骤

解压软件包—→make && make install—→设置Redis相关配置文件—→查看运行状态

5.2、编译安装Redis

1 [root@server1 ~]# tar zxf redis-5.0.7.tar.gz 
2 [root@server1 ~]# cd redis-5.0.7/
3 [root@server1 redis-5.0.7]# make -j2
4 [root@server1 redis-5.0.7]# make prefix=/usr/local/redis install
5 [root@server1 redis-5.0.7]# ln -s /usr/local/redis/bin/* /usr/local/bin     #将redis的所有命令拷贝到/usr/local/bin目录下，可以更便捷的使用

5.3、设置Redis相关配置文件

[root@server1 ~]# cd redis-5.0.7/
[root@server1 redis-5.0.7]# cd utils/
[root@server1 utils]# ./install_server.sh           #执行安装服务脚本
Welcome to the redis service installer
This script will help you easily set up a running redis server

Please select the redis port for this instance: [6379]        #确定端口号
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf]       #redis配置文件
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log]    #日志文件
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379]          #数据存放目录
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server]
Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf
Log file       : /var/log/redis_6379.log
Data dir       : /var/lib/redis/6379
Executable     : /usr/local/bin/redis-server
Cli Executable : /usr/local/bin/redis-cli
Is this ok? Then press ENTER to go on or Ctrl-C to abort.
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
Starting Redis server...
Installation successful!

5.4、登录redis

1 [root@server1 src]# redis-cli -h 127.0.0.1 -p 6379
2 127.0.0.1:6379> 

5.5、Redis配置文件部分参数介绍

●配置参数（/etc/redis/6379.conf）
bind：监听的主机地址
port：端口
daemonize yes：启用守护进程
pidfile：指定PID文件
loglevel notice：日志级别
logfile：指定日志文件

六、redis数据库的常用命令

1、存放、获取数据

set：存放数据

get：获取数据

127.0.0.1:6379> set name stf
OK
127.0.0.1:6379> keys *
1) "hobby"
2) "name"
3) "color"
127.0.0.1:6379> get name
"stf"

2、key相关命令

keys：获取符合规则的键值列表

　

#keys *：查看所有键；通配符*和？都支持
127.0.0.1:6379> keys nam?
1) "name"
127.0.0.1:6379> keys na??
1) "name"
127.0.0.1:6379> keys *
1) "hobby"
2) "name"
3) "color"　　

exists：判断键值是否存在

127.0.0.1:6379> exists name
(integer) 1
127.0.0.1:6379> exists bb
(integer) 0
#执行失败返回0，执行成功返回非0值　　

del：删除当前数据库的指定key

　

127.0.0.1:6379> keys *
1) "hobby"
2) "name"
3) "color"
127.0.0.1:6379> del hobby
(integer) 1
127.0.0.1:6379> keys *
1) "name"
2) "color"　　

type：获取key对应的value值类型

127.0.0.1:6379> type name
string　　

rename (覆盖) 、renamenx （不覆盖）：对已有的key进行重命名

127.0.0.1:6379> rename name xingming
OK
127.0.0.1:6379> keys *
1) "xingming"
2) "color"

dbsize:查看当前数据库key的数目

127.0.0.1:6379> dbsize
(integer) 2

3、redis-benchmark 测试工具（压测）

向ip地址为127.0.0.1、端口为6379的redis服务器发送100个并发连接与10000个请求测试性能

redis-benchmark -h 127.0.0.1 -p 6379 -c 100 -n 10000　　

测试存取大小为100字节的数据包的性能

[root@server1 ~]# redis-benchmark -h 127.0.0.1 -p 6379 -d 100

七、redis多数库操作

1、redis支持多数据库，默认支持16个数据库，0-15命名

2、多数据库相互独立，互不干扰

3、多数据库常用命令

   多数据库间切换

   多数据库间移动数据

   清除数据内数据

127.0.0.1:6379> select 6
OK
127.0.0.1:6379[6]> set age 5
OK
127.0.0.1:6379[6]> keys *
1) "age"
127.0.0.1:6379[6]> move age 1
(integer) 0
127.0.0.1:6379[6]> select 1
OK
127.0.0.1:6379[1]> keys *
1) "age"
2) "student"　　

redis支持存对象

例：对象是student
127.0.0.1:6379> hset student name lili
(integer) 1
127.0.0.1:6379> hset studen age 19
(integer) 1
127.0.0.1:6379> hset student score 88
(integer) 1
127.0.0.1:6379> keys *
1) "mylist"
2) "key:__rand_int__"
3) "xingming"
4) "counter:__rand_int__"
5) "studen"
6) "myset:__rand_int__"
7) "student"
8) "color"
127.0.0.1:6379> hget student name
"lili"
127.0.0.1:6379> hget student score
"88"　　

八、Redis持久化

1、持久化描述

Redis是运行在内存中，内存中的数据断电丢失

为了能够重用Redis数据，或者防止系统故障，需要将数据写入到磁盘空间中，即持久化

2、持久化分类

RDB方式，创建快照的方式获取某一时刻Redis中所有数据的副本

缺点：只能是一个时刻，不可以连续，存在盲区，可能导致少量数据丢失

AOF方式：将执行的写命令写到文件的末尾，以日志的方式记录数据的变化

缺点：日志文件的量多，人力成本大

注意

生产环境 RDB+AOF方式，两个快照中间部分采用AOF方式，查找日志中对应时间的写命令

8.1、RDB持久化

redis默认的持久化方式

默认文件名为dump.rdb

[root@server1 ~]# cd /var/lib/redis/6379/
[root@server1 6379]# ll
总用量 232
-rw-r--r--. 1 root root 233881 11月 10 14:59 dump.rdb

●触发条件
在指定的时间间隔内，执行指定次数的写操作（配置文件控制）
执行save或者是bgsave（异步）命令
执行flushall命令，清空数据库所有数据
执行shutdown命令，保证服务器正常关闭且不丢失任何数据
●优缺点
适合大规模的数据恢复
如果业务对数据完整性和一致性要求不高，RDB是很好的选择
数据的完整性和一致性不高
备份时占用内存
●通过RDB文件恢复数据
将dump.rdb文件拷贝到redis的安装目录的bin目录下，重启redis服务即可　　

[root@server1 ~]# vim /etc/redis/6379.conf
save 900 1    #900秒之内至少一次写操作
save 300 10  #300秒内至少10次操作
save 60 10000 #60秒内至少10000次写操作
#只要满足其一都会触发快照操作，注释所有的save项表示关闭RDB
dbfilename dump.rdb  #RDB文件名称
dir /var/lib/redis/6379  #RDB文件路径
rdbcompression yes   #是否进行压缩

8.2、AOF持久化

1、Redis默认不开启
2、弥补RDB的不足（数据的不一致性）
3、采用日志的形式来记录每个写操作，并追加到文件中
4、Redis重启会根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
5、根据AOF文件恢复数据
将appendonly.aof文件拷贝到redis安装目录的bin目录下，重启redis服务即可
6、配置文件选项

[root@server1 ~]# vim /etc/redis/6379.conf
appendonly yes  #开启AOF持久化
appendfilename "appendonly.aof"   #AOF文件名称
#appendfsync always     #同步持久化，每次发生数据变化会立刻写入磁盘；
appendfsync everysec    #默认推荐，每秒异步记录一次（默认值）
#appendfsync no      #不同步，交给操作系统决定如何同步
aof-load-truncated yes   #忽略最后一条可能存在问题的指令

●AOF的重写机制
AOF的工作原理是将写操作追加到文件中，文件的冗余内容会越来越多
当AOF文件的大小超过所设定的阀值时，Redis就会对AOF文件的内容压缩
●AOF的重写的原理
Redis会fork出一条新进程，读取内存中的数据(并没有读取旧文件)，并重新写到一个临时文件中，最后替换旧的aof文件
●AOF的重写配置

[root@redis 6379]# vim /etc/redis/6379.conf 
no-appendfsync-on-rewrite no	#在日志进行BGREWRITEAOF时， 如果设置为yes表示新写操作不进行同步fsync,只暂存在缓冲区里，避免造成磁盘I0操作冲突，等重写完成后在写入。redis中默认为no
auto-aof-rewrite-percentage 100	#当前AOF文件大小是上次日志重写时AOF文件大小两倍时，发生BGREWRITEAOF操作
auto-aof-rewrite-min-size 64mb	#当前AOF文件执行BGREWRITEAOF命令的最小值，避免刚开始启动Reids时由于文件尺寸较小导致频繁的BGREWRITEAOF.当AOF文件到达64M的时候，发生BGREWRITEAOF操作

9、redis性能管理　

9.1查看redis内存使用

[root@server1 ~]# redis-cli
127.0.0.1:6379> info memory
#Memory
used_memory:11315280                #内存使用总量
used_memory_human:10.79M
...省略内容
mem_fragmentation_ratio:1.76      #内存碎片率
mem_fragmentation_bytes:8566768  

9.2、内存碎片率介绍

1、操作系统分配的内存值used_memory_rss除以redis使用的内存值
used_ memory计算得出
2、内存碎片是由操作系统低效的分配/回收物理内存导致的
不连续的物理内存分配
3、跟踪内存碎片率对理解redis实例的资源性能是非常重要的
内存碎片率稍大于1是合理的，这个值表示内存碎片率比较低
内存碎片率超过1.5,说明redis消耗了实际需要物理内存的150%，其中50%是 内存碎片率
内存碎片率低于1的，说明Redis内存分配超出了物理内存,操作系统正在进行内存交换（内存碎片率为1是最佳，低于1访问速度会慢，高于1说明碎片太多）

9.3、内存使用率介绍

1、redis实例的内存使用率超过可用最大内存，操作系统将开始进行
内存与swap空间交换（这时redis响应速度会变慢）
2、避免内存交换
针对缓存数据大小选择
尽可能的使用Hash数据结构
设置key的过期时间

9.4、如何回收key

1、保证合理分配redis有限的内存资源
2、当达到设置的最大阈值时，需选择一种key的回收策略
默认情况下回收策略是noeviction（禁止收回）
/etc/redis/6379.conf配置文件中修改maxmemory-policy属性值
volatile-lru:使用LRU算法从已设置过期时间的数据集合中淘汰数据
volatile-ttl:从已设置过期时间的数据集合中挑选即将过期的数据淘汰（建议使用）
volatile-random:从已设置过期时间的数据集合中随机挑选数据淘汰
allkeys-lru:使用LRU算法从所有数据集合中淘汰数据
allkeys-random:从数据集合中任意选择数据淘汰
no-enviction:禁止淘汰数据
去掉#注释后，配置文件一定要顶格写