zoukankan      html  css  js  c++  java
  • 常用中间件的持久化机制

    Elasticsearch

    Elasticsearch是一个全文搜索引擎,对模糊搜索非常擅长。。

    Elasticsearch在写数据的时候,会先写到内存缓存区,然后写到translog缓存区,每隔5s将translog缓冲区的数据刷到磁盘中。

    Kafka

    Kafka用的是文件系统来存储的。

    Kafka的持久化依赖操作系统的pagecache和顺序写来实现的。

    HDFS

    HDFS Client客户端无论读写都需要走到NameNode去获取/增删改文件的元数据,而NameNode则是专门维护这些元数据的地方。

    所以,在HDFS写数据,需要先去NameNode上询问这些切分好的block往哪几个DataNode上写数据。

    为了提高NameNode的效率,在写数据的时候,NameNode实际上是操作的是内存,然后涉及到增删改的数据顺序写到editlog日志文件上

    Redis

    RDB:基于快照,将某一时刻的所有数据保存到一个RDB文件中。

    AOF(append-only-file),当Redis服务器执行写命令的时候,将执行的写命令保存到AOF文件中。

    AOF持久化功能的实现可以分为3个步骤:

    命令追加:命令写入aof_buf缓冲区

    文件写入:调用flushAppendOnlyFile函数,考虑是否要将aof_buf缓冲区写入AOF文件中

    文件同步:考虑是否将内存缓冲区的数据真正写入到硬盘

    MySQL

    bin log(二进制日志)、undo log(回滚日志)、redo log(重做日志)等。

    MySQL的undo log主要有两个作用:回滚和多版本控制(MVCC),如果因为某些原因导致事务失败或回滚了,可以用undo log进行回滚。

    MySQL的InnoDB引擎引入了redo log,内存写完了,然后会写一份redo log,这份redo log记载着这次在某个页上做了什么修改。

  • 相关阅读:
    常见cout格式输出
    P3332 [ZJOI2013]K大数查询
    pdb
    OS
    ubuntu su failure when password was right
    【opencv安裝】ubuntu16 opencv安装+测试
    shell脚本读取文件+读取命令行参数+读取标准输入+变量赋值+输出到文件
    xshell上传下载文件
    【sed / awk脚本编写】
    shell正则式解析身份证和手机号
  • 原文地址:https://www.cnblogs.com/nxjblog/p/13346054.html
Copyright © 2011-2022 走看看