zoukankan      html  css  js  c++  java
  • 1.Redis简介和安装

    一.Redis简介

    • NoSQL介绍:用于解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。

    • NoSQL数据库的四大分类:

      • 键值存储数据库:Redis,Oracle BDB,Voldemort

      • 列存储数据库:HBase

      • 文档型数据库:MongoDb

      • 图形数据库:Neo4J

    • NoSQL数据库适用场景:

      • 数据模型比较简单

      • 需要灵活性更强的IT系统

      • 对数据库性能要求较高

      • 不需要高度的数据一致性

      • 对于给定key,比较容易映射复杂值的环境

    • Redis优点:开源、免费、高性能、K-V数据库、内存数据库、非关系型数据库,支持持久化、集群和事务。

    • Redis缺点:持久化时将数据存储在内存中会使内存占用过高,使用定时快照代价非常高

    二.Redis安装(Linux)

    1.安装gcc: yum -y install gcc automake autoconf libtool make 

    注意:

    运行yum时出现/var/run/yum.pid已被锁定,PIDxxxx的另一个程序正在运行的问题解决 : rm -f /var/run/yum.pid 

    2.安装Redis

    (1)下载Redis 5.0: wget http://download.redis.io/releases/redis-5.0.0.tar.gz 

    (2)解压到/opt目录下: tar zxvf redis-5.0.0.tar.gz -C /opt 

    (3)进入/opt/redis-5.0.0目录编译Redis: [root@ustc-wzh redis-5.0.0]# make 

    (4)安装Redis: [root@ustc-wzh redis-5.0.0]# make PREFIX=/usr/local/redis install 

    (5)执行Redis服务端:

      1.先进入/usr/local/redis/bin目录下: [root@ustc-wzh redis-5.0.0]# cd /usr/local/redis/bin/ 

      2.执行Redis服务端: [root@ustc-wzh bin]# ./redis-server ,使用端口号为6379

      3.启动Redis客户端: [root@ustc-wzh bin]# ./redis-cli   

      4.启动客户端

        1.语法: ./redis-cli -h IP地址 -p 端口号 ,默认IP为本机127.0.0.1,端口6379   

        2.例子: [root@ustc-wzh bin]# ./redis-cli -h 127.0.0.1 -p 6379 

      5.客户端测试服务端是否启动:客户端输入PING,服务端响应PONG为成功

    127.0.0.1:6379> PING
    PONG

      6.通过进程查看redis:

    [root@ustc-wzh bin]# ps -ef | grep -i redis
    root     26463 20368  0 23:20 pts/0    00:00:01 ./redis-server *:6379
    root     27010 26731  0 23:31 pts/1    00:00:00 ./redis-cli -h 127.0.0.1 -p 6379
    root     27450 27393  0 23:39 pts/2    00:00:00 grep --color=auto -i redis

      7.客户端存取值:

    127.0.0.1:6379> set age 25
    OK
    127.0.0.1:6379> get age
    "25"

    三.Redis配置详解

    1.配置Redis

    (1)将/opt/redis-5.0.0目录下的redis.conf复制到/usr/local/redis目录:通过修改/usr/local/redis/redis.conf来配置redis

         [root@ustc-wzh bin]# cp /opt/redis-5.0.0/redis.conf /usr/local/redis/ 

    (2)redis.conf的30个属性(带星号的为重点)

      前10个:

    **1. Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程
      daemonize no
    2. 当Redis以守护进程方式运行时,Redis默认会把pid写入/var/run/redis.pid文件,可以通过pidfile指定
      pidfile /var/run/redis.pid
    **3. 指定Redis监听端口,默认端口为6379,作者在自己的一篇博文中解释了为什么选用6379作为默认端口,因为6379
    在手机按键上MERZ对应的号码,而MERZ取自意大利歌女Alessia Merz的名字
      port 6379
    **4. 绑定的主机地址
      bind 127.0.0.1
    5.当 客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能
    timeout 300
    6. 指定日志记录级别,Redis总共支持四个级别:debug、verbose、notice、warning,默认为verbose
      loglevel verbose
    7. 日志记录方式,默认为标准输出,如果配置Redis为守护进程方式运行,而这里又配置为日志记录方式为标准输出,则日
    志将会发送给/dev/null
      logfile stdout
    **8. 设置数据库的数量,默认数据库为0,可以使用SELECT <dbid>命令在连接上指定数据库id
      databases 16
    **9. 指定在多长时间内,有多少次更新操作,就将数据同步到数据文件,可以多个条件配合
      save <seconds> <changes>
      Redis默认配置文件中提供了三个条件:
      save 900 1
      save 300 10
      save 60 10000
      分别表示900秒(15分钟)内有1个更改,300秒(5分钟)内有10个更改以及60秒内有10000个更改。
    **10. 指定存储至本地数据库时是否压缩数据,默认为yes,Redis采用LZF(压缩算法)压缩,如果为了节省CPU时间,可
    以关闭该选项,但会导致数据库文件变的巨大
      rdbcompression yes

      中间10个:

    **11. 指定本地数据库文件名,默认值为dump.rdb
      dbfilename dump.rdb
    **12. 指定本地数据库存放目录结尾10个
      dir ./
    13. 设置当本机为slav服务时,设置master服务的IP地址及端口,在Redis启动时,它会自动从master进行数据同步
      slaveof <masterip> <masterport>
    14. 当master服务设置了密码保护时,slav服务连接master的密码
      masterauth <master-password>
    **15. 设置Redis连接密码,如果配置了连接密码,客户端在连接Redis时需要通过AUTH <password>命令提供密码,默
    认关闭
      requirepass foobared
    16. 设置同一时间最大客户端连接数,默认无限制,Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件
    描述符数,如果设置 maxclients 0,表示不作限制。当客户端连接数到达限制时,Redis会关闭新的连接并向客户端返回
    max number of clients reached错误信息
      maxclients 128
    17. 指定Redis最大内存限制,Redis在启动时会把数据加载到内存中,达到最大内存后,Redis会先尝试清除已到期或即
    将到期的Key,当此方法处理 后,仍然到达最大内存设置,将无法再进行写入操作,但仍然可以进行读取操作。Redis新的
    vm机制,会把Key存放内存,Value会存放在swap区
      maxmemory <bytes>
    18. 指定是否在每次更新操作后进行日志记录,Redis在默认情况下是异步的把数据写入磁盘,如果不开启,可能会在断电
    时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的,所以有的数据会在一段时间内
    只存在于内存中。默认为no
      appendonly no
    19. 指定更新日志文件名,默认为appendonly.aof
      appendfilename appendonly.aof
    20. 指定更新日志条件,共有3个可选值:
      no:表示等操作系统进行数据缓存同步到磁盘(快)
      always:表示每次更新操作后手动调用fsync()将数据写到磁盘(慢,安全)
      everysec:表示每秒同步一次(折衷,默认值)
      appendfsync everysec

      最后10个:

    21. 指定是否启用虚拟内存机制,默认值为no,简单的介绍一下,VM机制将数据分页存放,由Redis将访问量较少的页即冷
    数据swap到磁盘上,访问多的页面由磁盘自动换出到内存中(在后面的文章我会仔细分析Redis的VM机制)
      vm-enabled no
    22. 虚拟内存文件路径,默认值为/tmp/redis.swap,不可多个Redis实例共享
      vm-swap-file /tmp/redis.swap
    23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的
    (Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为
    0
      vm-max-memory 0
    24. Redis swap文件分成了很多的page,一个对象可以保存在多个page上面,但一个page上不能被多个对象共享,vmpage-size是要根据存储的 数据大小来设定的,作者建议如果存储很多小对象,page大小最好设置为32或者64bytes;如
    果存储很大大对象,则可以使用更大的page,如果不 确定,就使用默认值
      vm-page-size 32
    25. 设置swap文件中的page数量,由于页表(一种表示页面空闲或使用的bitmap)是在放在内存中的,,在磁盘上每8个
    pages将消耗1byte的内存。
      vm-pages 134217728
    26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的,可能会
    造成比较长时间的延迟。默认值为4
      vm-max-threads 4
    27. 设置在向客户端应答时,是否把较小的包合并为一个包发送,默认为开启
      glueoutputbuf yes
    28. 指定在超过一定的数量或者最大的元素超过某一临界值时,采用一种特殊的哈希算法
      hash-max-zipmap-entries 64
      hash-max-zipmap-value 512
    29. 指定是否激活重置哈希,默认为开启(后面在介绍Redis的哈希算法时具体介绍)
      activerehashing yes
    30. 指定包含其它的配置文件,可以在同一主机上多个Redis实例之间使用同一份配置文件,而同时各个实例又拥有自己的
    特定配置文件
      include /path/to/local.conf

    2.Redis中内存维护策略

    (1)补充:

    • 客户端查看所有存储的key以及过期时间:

      127.0.0.1:6379> keys *
      1) "age"
      2) "name"
      127.0.0.1:6379> ttl name
      (integer) -1
      127.0.0.1:6379> ttl age
      (integer) -1
    • 客户端设置key的过期时间:

      127.0.0.1:6379> expire name 15
      (integer) 1
      127.0.0.1:6379> ttl name
      (integer) 5
      127.0.0.1:6379> ttl name
      (integer) -2
      127.0.0.1:6379> ttl name
      (integer) -2
      127.0.0.1:6379> keys *
      1) "age"

      注:ttl 命令显示-1表示永久保留在内存,-2表示过期数据,0或正数表示剩余时间

    (2)Redis中解决内存溢出的两种方式

    【1】.方式一:为数据设置超时时间

    expire key time(以秒为单位)--这是最常用的方式
    setex(String key, int seconds, String value)--字符串独有的方式
    • 除了字符串自己独有设置过期时间的方法外,其他方法都需要依靠expire方法来设置时间

    • 如果没有设置时间,那缓存就是永不过期

    • 如果设置了过期时间,之后又想让缓存永不过期,使用persist key

    【2】.方式二:使用LRU算法

    • 内存管理的一种页面置换算法,对于在内存中但又不用的数据块(内存块)叫做LRU

    • 操作系统会根据哪些数据属于LRU而将其移出内存而腾出空间来加载另外的数据。

    • 参数设置

      1.volatile-lru:设定超时时间的数据中,删除最不常使用的数据.
      2.allkeys-lru:查询所有的key中最近最不常使用的数据进行删除,这是应用最广泛的策略.
      3.volatile-random:在已经设定了超时的数据中随机删除.
      4.allkeys-random:查询所有的key,之后随机删除.
      5.volatile-ttl:查询全部设定超时时间的数据,之后排序,将马上将要过期的数据进行删除操作.
      6.noeviction:如果设置为该属性,则不会进行删除操作,如果内存溢出则报错返回.
      7.volatile-lfu:从所有配置了过期时间的键中驱逐使用频率最少的键
      8.allkeys-lfu:从所有键中驱逐使用频率最少的键

    3.自定义Redis

    (1)进入/usr/local/redis目录修改redis.conf文件: vim redis.conf 

    (2)修改内容:设置使用守护进程启动,设置允许外部及其访问,设置数据库密码为123456

    daemonize no 修改为 daemonize yes 守护进程启动
    bind 127.0.01 注释掉 允许除本机外的机器访问Redis服务
    requirepass 设置密码 设定数据库密码 (保证服务安全/有些情况下不设定密码是无法进行远程连接访问的)

    (3)使用自定义的配置启动Redis: [root@ustc-wzh redis]# ./bin/redis-server redis.conf 

    (4)客户端登陆:

    语法:

    redis-cli -h host -p port -a password //redis-cli –h IP地址 –p 端口 –a 密码

    使用:

    [root@ustc-wzh bin]# ./redis-cli -h 127.0.0.1 -p 6379 -a 123456

    4.关闭Redis服务端的两种方法

    (1)方法一:强制关机(断电,杀进程)【会造成内存中的数据没有保存到硬盘上,产生数据丢失】

    [root@ustc-wzh redis]# ps -ef | grep -i redis
    root     31616     1  0 01:02 ?        00:00:00 ./bin/redis-server *:6379
    root     31909 27393  0 01:08 pts/2    00:00:00 grep --color=auto -i redis
    [root@ustc-wzh redis]# kill 9 31616
    [root@ustc-wzh redis]# ps -ef | grep -i redis
    root     31922 27393  0 01:08 pts/2    00:00:00 grep --color=auto -i redis

    (2)正常关闭:只能通过客户端关闭服务端【数据不会丢失】

    【1】直接使用密码shutdown:

     [root@ustc-wzh bin]# ./redis-cli -a 123456 shutdown 

    【2】登录之后shutdown:

    [root@ustc-wzh bin]# ./redis-cli -a 123456
    Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
    127.0.0.1:6379> shutdown
    not connected> 

    5.远程连接Redis

    (1)工具:Redis Desktop Manager

    (2)阿里云Linux服务器需要设置安全组:TCP连接,开启端口6379/6379,0.0.0.0/0

    (3)启动防火墙服务,开启防火墙端口为6379,重启防火墙,查看防火墙列表:

    [root@ustc-wzh redis]# systemctl start firewalld.service    启动防火墙服务
    [root@ustc-wzh redis]# firewall-cmd --zone=public --add-port=6379/tcp --permanent  开启防火墙的端口6379
    success
    [root@ustc-wzh redis]# firewall-cmd --reload    重启防火墙
    success
    [root@ustc-wzh redis]# firewall-cmd --list-ports  查看防火墙列表
    6379/tcp

    (4)使用工具连接Redis数据库

    6.使用docker启动redis

    (1)启动docker运行redis:

    [root@ustc-wzh redis]# docker run --rm -d --name=docker_redis -p 6379:6379 redis:5.0 --requirepass "123456"

    (2)如果docker出错则重启docker: systemctl restart docker ,再启动redis

    (3)在docker中启动redis客户端并且赋值:

    [root@ustc-wzh redis]# docker exec -it docker_redis redis-cli -h 127.0.0.1 -p 6379 -a 123456 
    Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
    127.0.0.1:6379> keys *
    (empty list or set)
    127.0.0.1:6379> set name 王
    OK
    127.0.0.1:6379> get name
    "xe7x8ex8b"

    补充:docker 的详细配置Redis

    # 创建并运行一个名为 myredis 的容器
    docker run 
    -p 6379:6379 
    -v $PWD/data:/data 
    -v $PWD/conf/redis.conf:/etc/redis/redis.conf 
    --privileged=true 
    --name myredis 
    -d redis redis-server /etc/redis/redis.conf
    
    # 命令分解
    docker run 
    -p 6379:6379  # 端口映射 宿主机:容器
    -v $PWD/data:/data:rw  # 映射数据目录 rw 为读写
    -v $PWD/conf/redis.conf:/etc/redis/redis.conf:ro  # 挂载配置文件 ro 为readonly
    --privileged=true  # 给与一些权限
    --name myredis  # 给容器起个名字
    -d redis redis-server /etc/redis/redis.conf # deamon 运行 服务使用指定的配置文件
  • 相关阅读:
    R、Python、Scala 和 Java,到底该使用哪一种大数据编程语言?
    iOS7
    The “Experimental” status of Multipath TCP
    (OK) porting MPTCP to LineageOS-14.1-kiwi (Android-7.1.1,运行在Huawei honor 5x) for VirtualBox- 100% 成功
    ip_route_output_key函数分析(1)
    (OK) porting MPTCP to LineageOS-14.1-kiwi (Android-7.1.1,运行在Huawei honor 5x) for VirtualBox
    (2) linux 3.x
    【CodeForces 271D】Good Substrings
    【CodeForces 987C】Three displays
    【CodeForces 574B】Bear and Three Musketeers
  • 原文地址:https://www.cnblogs.com/zhihaospace/p/12364392.html
Copyright © 2011-2022 走看看