zoukankan      html  css  js  c++  java
  • Redis 相关知识点汇总

    一、关于 Redis

    1.Redis 是什么

      Redis 是一个开放源代码(BSD 许可)的内存中数据结构存储,可用作数据库,缓存和消息代理,是一个基于键值对的 NoSQL 数据库。

    2.Redis 特性有哪些

    • 速度快
    • 基于键值对的数据结构服务器
    • 丰富的功能、丰富的数据结构
    • 简单稳定
    • 客户端语言多
    • 持久化
    • 主从复制
    • 高可以 & 分布式

    3.Redis 合适的应用场景

    • 缓存
    • 排行榜
    • 计数器
    • 分布式会话
    • 分布式锁
    • 社交网络
    • 最新列表
    • 消息系统

    4.除了 Redis 以外的 NoSQL 数据库

      MongoDB、MemcacheDB、Cassandra、CouchDB、Hypertable、Leveldb。

    5.Redis 和 Memcache 区别

    • 支持的存储类型不同,memcached 只支持简单的 k/v 结构。redis 支持更多类型的存储结构类型(详见问题6)。
    • memcached 数据不可恢复,redis 则可以把数据持久化到磁盘上。
    • 新版本的 redis 直接自己构建了 VM 机制 ,一般的系统调用系统函数的话,会浪费一定的时间去移动和请求。
    • redis 当物理内存用完时,可以将很久没用到的 value 交换到磁盘。

    6.Redis 的几种数据类型

       基础:字符串(String)、哈希(hash)、列表(list)、集合(set)、有序集合(zset)。

       还有HyperLogLog、流、地理坐标等。

    7.Redis 的高级功能

      消息队列、自动过期删除、事务、数据持久化、分布式锁、附近的人、慢查询分析、Sentinel 和集群等多项功能。

    二、Redis 启动和执行

    1.Redis 几个比较主要的可执行文件

    2.启动 Redis 的几种方式

    1. 默认配置 : ./redis-server
    2. 运行启动: redis-server 加上要修改配置名和值(可以是多对),没有配置的将使用默认配置。例如: redis-server ———port 7359
    3. 指定配置文件启动: ./redis-server/opt/redis/redis.conf

    3.Redis 配置自定义配置

      redis 目录下有一个 redis.conf 的模板配置。只需要复制模板配置然后修改即可。

      一般来说大部分生产环境都会用指定配置文件的方式启动redis。

    4.Redis 客户端命令执行的方式

    • (1)交互方式:
      redis-cli -h 127.0.0.1 -p 6379
      # 连接到redis后,后面执行的命令就可以通过交互方式实现了。
    • (2)命令行方式:
      redis-cli -h 127.0.0.1 -p 6379 get value

    5.停止 Redis 服务

    1. Kill-9 pid (粗暴,请不要使用,数据不仅不会持久化,还会造成缓存区等资源不能被优雅关闭)。
    2. 可以用 redis 的 shutdown 命令,可以选择是否在关闭前持久化数据。
      redis-cli shutdown nosave|save

    6.如何查看当前键是否存在?

      exists key

    7.如何删除数据?

      del key

    三、Redis 注意事项

    1.Redis 为什么快

    • redis 使用了单线程架构和 I/O 多路复用模型模型。
    • 纯内存访问。
    • 由于是单线程避免了线程上下文切换带来的资源消耗。

    2.字符串最大不能超过多少

      512MB。

    3.Redis 默认分多少个数据库

      16个。

    4.Redis 持久化的几种方式?

      RDB、AOF、混合持久化。

    四、RDB 持久化

      RDB(Redis DataBase)持久化是把当前进程数据生成快照保存到硬盘的过程。

      Tips:是以二进制的方式写入磁盘。

    1.RDB 的持久化是如何触发的?

    1. 手动触发:
      • save :阻塞当前 Redis 服务器,直到 RDB 过程完成为止,如果数据比较大的话,会造成长时间的阻塞,线上不建议。
      • bgsave:redis 进程执行 fork 操作创作子进程,持久化由子进程负责,完成后自动结束,阻塞只发生在fork阶段,一半时间很短。 
    2. 自动触发:
      • savexsecends n: 表示在 x 秒内,至少有 n 个键发生变化,就会触发 RDB 持久化。也就是说满足了条件就会触发持久化。
      • flushall:主从同步触发

    2.RDB 的优点

    • rdb 是一个紧凑的二进制文件,代表 Redis 在某个时间点上的数据快照。
    • 适合于备份,全量复制的场景,对于灾难恢复非常有用。
    • Redis 加载 RDB 恢复数据的速度远快于 AOF 方式。

    3.RDB的缺点

    • RDB 没法做到实时的持久化。中途意外终止,会丢失一段时间内的数据。
    • RDB 需要 fork() 创建子进程,属于重量级操作,可能导致 Redis卡顿若干秒。

    4.如何禁用持久化

      一般来说生成环境不会用到,了解一下也有好处的。

    config set save ""

    五、AOF 持久化

      AOF(appendonly file)为了解决 rdb 不能实时持久化的问题,aof 来搞定。以独立的日志方式记录把每次命令记录到 aof 文件中。

    1.如何查询 AOF 是否开启

    config get appendonly

    2.如何开启 AOF

    • 命令行方式:实时生效,但重启后失效。
      config set appendonly
    • 配置文件:需要重启生效,重启后依然生效。
      appendonly yes

    3.AOF 的工作流程

    1. 所有写入命令追加到 aof_buf 缓冲区。
    2. AOF 缓冲区根据对应的策略向硬盘做同步操作。
    3. 随着 AOF 文件越来越大,需要定期对 AOF 文件进行重写,达到压缩的目的。
    4. 当 redis 服务器重启时,可以加载 AOF 文件进行数据恢复。

    4.为什么 AOF 要先把命令追加到缓存区(aof_buf)中

      Redis 使用单线程响应命令,如果每次写入文件命令都直接追加到硬盘,性能就会取决于硬盘的负载。如果使用缓冲区,redis提供多种缓冲区策略,在性能和安全性方面做出平衡。

    5.AOF 持久化如何触发的

    • 自动触发:满足设置的策略和满足重写触发。策略:(在配置文件中配置

       

    • 手动触发:(执行命令)
      bgrewriteaof 

    6.AOF 优点

    • AOF 提供了 3 种保存策略:每秒保存、跟系统策略、每次操作保存。实时性比较高,一般来说会选择每秒保存,因此意外发生时顶多失去一秒的数据。
    • 文件追加写形式,所以文件很少有损坏问题,如最后意外发生少写数据,可通过 redis-check-aof 工具修复。
    • AOF 由于是文本形式,直接采用协议格式,避免二次处理开销,另外对于修改也比较灵活。

    7.AOF 缺点

    • AOF 文件要比 RDB 文件大。
    • AOF 冷备没 RDB 迅速。
    • 由于执行频率比较高,所以负载高时,性能没有 RDB 好。

    六、混合持久化

      一般来说线上都会采取混合持久化。redis4.0 以后添加了新的混合持久化方式。

    1.优点:

      在快速加载的同时,避免了丢失过更多的数据。

    2.缺点:

    • 由于混合了两种格式,所以可读性差。
    • 兼容性,需要 4.0 以后才支持。

    七、缓存

    1. 缓存穿透

      正常情况下,我们去查询数据都是存在。那么请求去查询一条数据库中根本就不存在的数据,也就是缓存和数据库都查询不到这条数据,但是请求每次都会打到数据库上面去。这种查询不存在数据的现象称为缓存穿透。

      缓存穿透产生大量的请求到数据库去查询。可能会导致数据库由于压力过大而宕机。

    解决方案:在缓存中将该键对应的值为设置为 null,配置过期时间

    2.缓存击穿

      在平常高并发的系统中,大量的请求同时查询一个 key 时,此时若这个 key 正好失效了,就会导致大量的请求都打到数据库上面去。这种现象即缓存击穿。

    解决方案:缓存击穿的现象是多个线程同时去查询数据库的同一条数据,可以在第一个查询数据的请求上使用一个互斥锁来锁住它。其他的线程走到这一步拿不到锁就等着,等第一个线程查询到了数据,然后做缓存。后面的线程进来发现已经有缓存了,就直接走缓存。

    3.缓存雪崩

      当某一时刻发生大规模的缓存失效的情况。比如缓存服务宕机或集中过期,会有大量的请求直接打到DB上。结果 DB 称不住,挂掉。

    解决方案

    • 事前:使用集群缓存,保证缓存服务的高可用。如果是使用 Redis,可以使用 主从+哨兵 ,Redis Cluster 来避免 Redis 全盘崩溃的情况。

    • 事中:使用 ehcache 本地缓存 + Hystrix 限流&降级 ,避免 MySQL 被打死的情况发生。使用 Hystrix 进行 限流 & 降级 ,比如一秒来了5000个请求,可以设置假设只能有一秒 2000 个请求能通过这个组件,那么其他剩余的 3000 请求就会走限流逻辑,然后去调用降级组件(降级)。比如设置的一些默认值呀之类的。以此来保护最后的 MySQL 不会被大量的请求给打死。

    • 事后:开启 Redis 持久化机制,尽快恢复缓存集群

    4.缓存预热

      系统上线后,提前将相关数据加载到缓存系统,避免用户先查库,然后在缓存。

    八、其他

    1.安装 Redis 步骤

    • 下载 Redis 指定版本源码安装包压缩到当前目录。
    • 解压缩 Redis 源码安装包。
    • 建立一个 redis 目录软链接,指向解压包。
    • 进入 redis 目录
    • 编译
    • 安装

      或者:docker pull redis。

    2.Redis 事务

      事务提供了一种将多个命令请求打包,一次性、按顺序的执行多个命令的机制。并且在事务执行期间,服务器不会中断事务而改去执行其他客户端命令请求,它会

    3.Redis 事务开始到结束的几个阶段?

    • 开启事务
    • 命令入队
    • 执行事务/放弃事务

    4.Redis 中 key 的过期操作?

    # 设置key的生存时间为n秒:
    expire key nseconds
    
    # 设置key的生存时间为nmilliseconds:
    pxpire key milliseconds
    
    # 设置过期时间为timestamp所指定的秒数时间戳:
    expireat key timespamp
    
    # 设置过期时间为timestamp毫秒级时间戳:
    pexpireat key millisecondsTimestamp

    5.Redis 过期键删除策略?

    • 定时删除:在设置的过期时间同时,创建一个定时器在键的过期时间来临时,立即执行队键的操作删除。
    • 惰性删除:放任过期键不管,但每次从键空间中获取键时,都检查取得的键是否过期,如果过期就删除,如果没有就返回该键。
    • 定期删除:每隔一段时间执行一次删除过期键操作,并通过先吃删除操作执行的时长和频率来减少删除操作对 CPU 时间的影响。

    6.Pipeline

      命令批处理技术,对命令进行组装,然后一次性执行多个命令。可以有效的节省 RTT(Round Trip Time 往返时间)。

    经过测试验证:

    • pipeline 执行速度一般比逐条执行快。
    • 客户端和服务的网络延越大,pipeline 效果越明显。

    7.如何获取当前最大内存?如何动态设置?

    # 获取最大内存:
    config get maxmemory
    
    # 设置最大内存:
    config set maxmemory 1GB

    8.Redis 内存溢出控制

      当 Redis 所用内存达到 maxmemory 上限时,会出发相应的溢出策略。

    9.Redis 内存溢出策略

    • noeviction(默认策略):拒绝所有写入操作并返回客户端错误信息(error) OOM command not allowed when used memory,只响应读操作。
    • volatile-lru:根据 LRU 算法删除设置了超时属性(expire)的键,直到腾出足够空间为止。如果没有可删除的键对象,回退到noeviction策略。
    • allkeys-lru:根据 LRU 算法删除键,不管数据有没有设置超时属性, 直到腾出足够空间为止。
    • allkeys-random:随机删除所有键,直到腾出足够空间为止。
    • volatile-random:随机删除过期键,直到腾出足够空间为止。
    • volatile-tth 根据键值对象的 ttl 属性,删除最近将要过期数据。如果没有,回退到 noeviction 策略。

    10.Redis 高可用方案

      RedisSentinel(哨兵)能自动完成故障发现和转移。

    11.Redis 集群方案

      Twemproxy、Redis Cluster、Codis。

    12.RedisCluster 槽范围

      0~16383

    13.Redis 锁实现思路

    • setnx(set if not exists),如果创建成功则表示获取到锁。
    • setnxlock true 创建锁
    • dellock 释放锁

      如果中途崩溃,无法释放锁?此时需要考虑到超时时间的问题。比如 :expire lock 300。由于命令是非原子的,所以还是会死锁,如何解决?Redis支持 set 并设置超时时间的功能。比如: set lock true ex 30 nx。

    14.布隆过滤器

      是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。

      Tips:当判断一定存在时,可能会误判,当判断不存在时,就一定不存在。

     

    参考:https://mp.weixin.qq.com/s?__biz=MzA5MzY4NTQwMA==&mid=2651019247&idx=3&sn=806af61723b1eee62fb463b9110bed49

  • 相关阅读:
    【转载】 学习《强化学习的落地实践》有感
    如何使用工具下载B站非会员视频(下载B站免费web视频)
    强化学习、分布式计算方向的phd毕业后去企业的要求
    【转载】 自然梯度法(Natural Gradient)
    【转载】 费舍尔信息矩阵及自然梯度法
    【转载】 梯度的直观理解_谈谈优化算法之一(动量法、Nesterov法、自然梯度法)
    第二章 描述万维网的资源-RDF
    第一章 语义网的愿景
    知识工程及语义网技术 2020-04-09 (第二节)-基于本体的知识管理
    RDF:知识图谱里的知识表示
  • 原文地址:https://www.cnblogs.com/zhuminghui/p/13066272.html
Copyright © 2011-2022 走看看