zoukankan      html  css  js  c++  java
  • orchestrator中的raft snapshot操作

    1.snapshot是什么

    snapshot是Raft log压缩的方式。压缩内容主要是Raft log 和应用状态数据(即orchestrator 中backend DB)。
    snapshot作用:

    • 定期清理raft log,减少空间占用
    • 备份raft节点状态,新节点加入时,快速应用备份和加入集群
    • 对于具体业务的影响,例如在orchestrator,
      原先从CMDB中导入的数据,可以快速在新节点或落后节点恢复
      切换时的防flapping,依赖topology_recovery数据表记录等

    2.什么时候触发snapshot

    snapshot触发方式有两种:周期发起和每次切换后发起。
    对于周期发起,周期由SnapshotInterval定义,默认是30min。具体发起时间则是在30min--60min之间随机。
    对于切换后发起,每次触发后,随机等待0-60s,接着开始。

    3.snapshot耗时和内存占用

    耗时、内存占用与压缩内容大小有直接关系。
    上文已提到,压缩内容包括Raft log和应用状态数据(即backend DB)。
    如果一直在跑测试用例,backend DB 中的数据可能会非常多,相应的snapshot耗时和内存占用都比较高。
    据不完全统计,耗时有时会到70s左右,内存占用多大10G。

    4.参考

    Raft一致性算法原理与实现————日志压缩快照技术

    TiKV 源码解析系列文章(十)Snapshot 的发送和接收

  • 相关阅读:
    linux系统缓存机制
    信号“未决”与“阻塞”
    异步I/O
    Unix下五种IO模型
    【设计模式
    【设计模式
    【设计模式
    【设计模式
    【设计模式
    【设计模式
  • 原文地址:https://www.cnblogs.com/lanyangsh/p/13466733.html
Copyright © 2011-2022 走看看