zoukankan      html  css  js  c++  java
  • Redis持久化存储与复制功能简述

    一、分布式系统基础理论

      分布式系统的两个基础理论:

    1.CAP理论

    如图:

    Consistency(强一致性):数据一致更新,所有数据变动都是同步的。
    Availability(可用性):好的响应性能。
    Partition tolerance(分区容忍性):可靠性。

      在CAP理论中,任何分布式系统都只能满足以上三个条件中的两个。

    2.BASE理论

    BA:基本可用。基本可用是指分布式系统在出现故障的时候,允许损失部分可用性,即保证核心可用。

    S:软状态。软状态是指允许系统存在中间状态,而该中间状态不会影响系统整体可用性。分布式存储中一般一份数据至少会有三个副本,允许不同节点间副本同步的延时就是软状态的体现。如主从复制的状态。

    E:最终一致性。最终一致性是指系统中的所有数据副本经过一定时间后,最终能够达到一致的状态。弱一致性和强一致性相反,最终一致性是弱一致性的一种特殊情况。

    二、Redis运行和维护时常用的配置

    1.Redis的配置介绍

    配置段:

    INCLUDES:配置文件模块化
    NETWORK:网络相关配置
    GENERAL:通用配制
    SNAPSHOTTING:快照持久功能配置
    REPLICATION:主从同步复制配置
    SECURITY:安全相关配置
    LIMITS:资源相关配置
    APPEND ONLY MODE:
    LUA SCRIPTING:
    REDIS CLUSTER:Redis集群相关配置
    SLOW LOG:慢查询日志配置
    LATENCY MONITOR:延迟监控
    EVENT NOTIFICATION:事件配置
    ADVANCED CONFIG:

    2.GENERAL配置段中常用的配置阐述

    1. supervised :如果用upstart或systemd运行Redis时可以配置此项,一般设置为 no 

    3.NETWORK配置段中常用的配置阐述

    1. bind :配置监听地址,建议在iptables中就设置访问策略,且在Redis中配置认证。

    2. protected-mode :避免Redis完全暴露在互联网上。当没有设置监听地址且没有配置密码时此项开启才会生效。

    3. port :监听端口。

    4. tcp-bocklog :

    5. unixsocket /tmp/redis.sock :若本地连接可使用socket。

    6. timeout :客户端连接空闲超时连接。

    7. tcp-keepalive :tcp保持连接

    4.SECURITY配置段常用配置

    1. requirepass :添加验证密码

    2. rename-command :修改CONFIG名,在AOF、Replication环境中不建议使用。

    5.LIMITS配置段相关配置

    1. maxclients :最大并发连接数,默认为10000.

    2. maxmemory :最大使用内存。

    3. maxmemory-policy :当内存使用达到最大值后做出如何的处理。默认为noeviction。

    6.SLOW LOG配置段相关配置

    1. slowlog-log-slow-than :查询市场高于此值时启动慢查询。

    2. slowlog-max-len :慢查询最大长度

    7.ADVANCED CONFIG配置段相关配置

    1. hash-max-ziplist-entries :hash数组最多允许成员数。

    2. hash-max-ziplist-value :每一成员最大值不得超过的字节数。

    3. list-max-ziplist-size :限制list类型最大长度。

    4. client-output-buffer-limit normal :常规客户端一侧输出缓冲区的大小。

    5. client-output-buffer-limit slave :从服务器客户端一侧输出缓冲区的大小。

    6. client-output-buffer-limit pubsub :订阅服务器客户端一侧输出缓冲区的大小。

      例: client-output-buffer-limit normal 256mb 64mb 60 

    8.CONFIG命令介绍

      CONFIG命令可在Redis运行时修改配置,不用重启服务便能生效。

     CONFIG GET :获取

     CONFIG SET :设置

     CONFIG REWRITE :将内存中的配置重写至(覆盖)配置。

     CONFIG RESETSTAT :重置计数器。

    三、Redis持久化

      为了避免像Memcached那样一旦服务器重启数据便会丢失的情况,Redis会对内存中的数据做持久化,将内存中的数据同步至磁盘。Redis持久化机制的目的仅仅是为了将内存的数据存储至磁盘,而不是基于磁盘的数据进行服务,Redis所提供的数据服务只能是基于内存的。

    1.RDB

      RDB是基于快照进行的持久化,按事先定制的策略,周期性地将数据从内存同步至磁盘。也可以用命令 SAVE 和 BGSAVE 手动启动快照功能,SAVE会在主线程中保存快照,此时会阻塞所有客户端请求,是同步的;而BGSAVE则是在后台完成快照,不会影响主线程,是异步的。Redis默认的持久化机制是RDB。

      RDB相关的配置示:

     save :配置触发快照条件

    1 save 900 1 #在过去的900秒钟有1个键发生变化就会触发快照功能。
    2 save 300 10 #在过去的300秒钟有10个键发生变化就会触发快照功能。
    3 save 60 10000 #在过去的60秒钟有10000个键发生变化就会触发快照功能。

     stop-writes-on-bgsave-error :dump操作出现错误时,是否禁止新的写入操作请求。

     rdbcompression :对快照是否进行压缩。

     rdbchecksum :是否对快照文件进行校验。

     dbfilename :配置备份的快照文件名。

     dir :快照文件的路径。

    2.AOF

      AOF(Append Only File),类似于MySQL中的二进制日志进行的持久化,记录每次写操作至指定的文件尾部实现的持久化。当redis重启时,可通过重新执行文件中的命令在内存中重建出数据库。效率会低于RDB。

      AOF相关的配置:

     appendonly :是否启用AOF功能。

     appendfsync :配置同步规则,可以按每秒,或者按每语句。

     no-appendfsync-on-rewrite :是否在后台执行aof重写期间不调用fsync,默认为no,表示调用。

     auto-aof-rewrite-percentage 100 & auto-aof-rewrite-min-size 64mb :这两个两个条件同时满足时,方会触发重写AOF;与上次aof文件大小相比,其增长量超过100%,且大小不少于64MB。

      注:持久机制本身不能取代备份;应该制订备份策略,对redis库定期备份。

    四、Redis主从复制

      Redis 的复制 (replication) 是一种使用和配置起来非常简单的主从(master-slave)复制,允许 Redis 从服务器成为主服务器的精确副本。一个Master可以有多个slave主机,支持链式复制;Master以非阻塞方式同步数据至slave主机。快照同步方式:

      

      配置slave节点:

    1 redis-cli> SLAVEOF <MASTER_IP> <MASTER_PORT> #在从节点配置主节点的地址和端口
    2 redis-cli> CONFIG SET masterauth <PASSWORD> #若主节点开启器了认证功能,则在从节点配置认证密码。

      也可在配置文件中的REPLICATION配置段进行配置:

     slaveof :在从节点配置主节点地址和端口。

     masterauth :认证

     epl-diskless-sync :Diskless,主节点直接通过快照进行复制至从节点;Disk-backend,主节点新创建快照文件于磁盘中,而后将其发送给从节点,默认为no。

     repl-timeout :复制超时时间。

     slave-priority :从节点优先级。

     五、Sentinel

      Sentinel是一个"监视器",根据被监视实例的身份和状态来判断该执行何种操作。通过给定的配置文件来发现主服务器的,再通过向主服务器发送的info信息来发现该主服务器的从服务器。Sentinel 实际上就是一个运行在 Sentienl 模式下的 Redis 服务器。根据投票机制来实现当主节点故障时由谁来担当主节点。

      Sentinel是Redis自带的服务,可以直接用 redis-sentinel 来进行启动管理,Redis中有专门配置redis-sentinel的配置文件 /etc/redis-sentinel.conf 。

      Sentinel相关配置(注:所有节点的认证要相同):

    1 port 26379
    2 sentinel monitor <master-name> <ip> <redis-port> <quorum>
    3 sentinel auth-pass <master-name> <password>
     <master-name> :配置要监控的主节点的标识符,可自己定义。
     <quorum> :票数
     <ip>:主节点IP
     <redis-port>:主节点端口

     sentinel down-after-milliseconds <master-name> <milliseconds> :监控到指定的集群的主节点异常状态持续多久方才将标记为“故障”。

     sentinel parallel-syncs <master-name> <numslaves> :指在failover过程中,能够被sentinel并行配置的从节点的数量。

     sentinel failover-timeout <master-name> <milliseconds> :sentinel必须在此指定的时长内完成故障转移操作,否则,将视为故障转移操作失败。

     sentinel notification-script <master-name> <script-path> :通知脚本,此脚本被自动传递多个参数。

    Quorum机制:

      集群中有5个sentinel,票数被设置为2,当2个sentinel认为一个master已经不可用了以后,将会触发failover,但是,进行failover的那个sentinel必须先获得至少3个sentinel的授权才可以实行failover。

  • 相关阅读:
    高德API+Python解决租房问题(.NET版)
    Jexus支持HTTPS协议
    pktgen使用详细教程
    结构体字节对齐2
    linux 用户空间获得纳秒级时间ns
    充分利用CPU高速缓存,提高程序效率(原理篇)
    Vue实现PC端分辨率自适应
    pip install 默认安装路径修改
    Vue AES+MD5加密 后台解密
    @Controller和@RestController的区别
  • 原文地址:https://www.cnblogs.com/readygood/p/9886362.html
Copyright © 2011-2022 走看看