zoukankan      html  css  js  c++  java
  • HBase表的架构原理

    HBase总体架构图
    Distributed-NoSQL-HBase-Accumulo-21.png


    Hbase Table的基本单位是Region,一个Table相应多个Region。Table层级关系例如以下:
    Table       (HBase table)
        Region       (Regions for the table)
             Store          (Store per ColumnFamily for each Region for the table)
                  MemStore         (MemStore for each Store for each Region for the table)
                  StoreFile            (StoreFiles for each Store for each Region for the table)
                        Block             (Blocks within a StoreFile within a Store for each Region for the table)
    Region
    每台RegionServerserver中包括多个Region和一个Hlog(WAL),每一个Region中包括多个Store
    Store
    每一个Store(HStore)中包括一个MemStore和多个StoreFile(HFile)。每一个Store相应了某个Table中的一个column family的存储
    MemStore
    MemStore在内存中维护着对Store的改动日志。日志是KeyValue结构的。一旦MemStore被触发flush操作。当前的MemStore被标记为SnapShot。与此同一时候
    Hbase创建新的MemStore并继续处理改动操作。直到标记为SnapShot的MemStore被通知已经成功刷写到StoreFile,则销毁该MemStore
    StoreFile (HFile)
    表数据真正存储的地方,HFile是HDFS上详细的文件格式
    Blocks
    StoreFile由多个Block组成,BlockSize是依据每一个ColumnFamily级别配置的,在StoreFiles中,压缩也是基于Block级别


    查看HFile
    使用HFile工具查看StoreFile(HFile)(版本号:0.98.6+cdh5.2.1)
    hbase org.apache.hadoop.hbase.io.hfile.HFile -v -f /hbase/data/default/s_table1/1744a33060309b4aaecfca1639444411/fm1/97f63077d177429497551fbc22e4be75
  • 相关阅读:
    sql-select for update
    java-JDK动态代理
    idea-热部署jreble的使用
    vue-【el-table】转成【pl-table】
    mybatis-字段值为null或为''无法存储到数据库
    vue-本地开发热部署编译缓慢
    chrome-截长图
    el-cascader 级联选择器中选中任意一级去掉圆形按钮
    idea-绿色注释颜色16进制
    markdown 语法
  • 原文地址:https://www.cnblogs.com/blfbuaa/p/6703310.html
Copyright © 2011-2022 走看看