zoukankan      html  css  js  c++  java
  • HBase总结

    HBase简介

    Hbase(Hadoop Database),是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。

    利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中海量数据,利用Zookeeper作为其分布式协同服务。

    主要用来存储非结构化和半结构化数据(列式存储的nosql数据库)。

    HBase数据模型

    img

    row key

    1.决定一行数据。

    2.按照字典序排序的。

    3.Row Key最多可以存储64k的字节数据。

    Time Stamp:时间戳

    1.每个cell单元格有多个版本,根据唯一的时间戳来区分每个版本之间的差异,不同版本的数据数据按照时间倒叙来排序,最新的数据版本排在最前面。

    2.时间戳类型是64位整型。

    3.时间戳可以由HBase(在数写入时)自动赋值,此时时间戳是精确到毫秒的当前系统时间。

    4.时间戳也可以由客户显式赋值,避免数据版本冲突,时间戳必须唯一。

    Column Family:列族。CF1、CF2、CF3

    1.HBase每个列都归属于某个列族,列族必须作为表模式(schema)定义的一部分预先给出。如create 'table1 ','course'

    2.新的列族成员可以随时按需、动态的加入。

    3.权限控制、存储以及调优都是在列族层面进行的。

    4.HBase把同一列族的数据存储在同一目录下,由几个文件保存。

    qualifier:列名。CF1:q2

    1.列名以列族作为前缀,每个列族都可以有多个列成员。如:course:math,course:english

    Cell:单元格

    1.由行和列的坐标交叉决定。

    2.单元格是有版本的。

    3.单元格的内容是未解析的字节数组,cell中的数据是没有类型的,全部是字节码形式存贮。

    HBase 架构

    img

    Client

    1.包含访问HBase的接口并维护cache来加快对HBase的访问。

    2.通过HBaseAdmin实现管理功能。

    Zookeeper

    1.做分布式锁,保证任何时候,集群中只有一个master。

    2.存储所有Regin的寻址入口。

    3.实时监控RegionServer的上线和下线信息。并实时通知Master。

    4.存储HBase的schema和table元数据。

    HMaster

    1.为RegionServer分配Region。

    2.负责RegionServer的负载均衡。

    3.发现失效的RegionServer并重新分配其上的Region。

    4.管理用户对table的增删改查操作。

    RegionServer

    1.RegionServer维护Region,处理这些Region的IO请求。

    2.RegionServer负责切分在运行过程中变得过大的Region。

    Region

    1.HBase自动把表划分成多个区域(Region),每个Region保存一个表里面某段连续的数据。

    2.每个表一开始只有一个Region,随着数据不断插入表,Region不断增大,当增大道一个阀值的时候,Region就会等分为两个新的Region(裂变)。

    3.当table中的行不断增多,就会有越来越多的Region。这样一张完整的表被保存在多个RegionServer上。

    store

    1.一个Region由多个store组成,一个store对应一个Column Family(列族)。

    2.store包括位于内存中的memstore和位于磁盘的storefile。

    3.memstore:写操作先写入memstore,当memstore中的数据达到某个阀值时,会启动flashcache进程写入storefile,写入过程排序,每次写入都会形成单独的一个storefile。

    4.storefile:当storefile文件的数量达到一定阀值后,系统会进行合并(minjor、major compaction),在合并过程中会进行版本合并和删除工作(majar),形成更大的storefile。

    5.当一个Region所有storefile的大小和数量超过一定阀值后,会把当前Region分割为两个,并由HMaster分配到相应的RegionServer服务器,实现负载均衡。

    6.客户端检索数据,现在麽么store找,找不到再找blockcache(查询缓存),找不到再找storefile。

    HBase读写流程

    写过程

    1.Client先从缓存中定位Region,如果没有缓存则访问zookeeper,从元数据表获取要写入的Region信息。

    2.找到小于rowkey并且最接近于rowkey的startkey对应的Region。

    3.将更新写入WAL中,避免丢失数据。

    4.将写操作写入memstore中,当增加到一定阀值时,会将memstore写到磁盘上生成storefile。

    5.随着storefile不断增多,当增长到一定阀值后,进行storefile的合并。

    6.当一个Region所有storefile的大小和数量超过一定阀值后,会把当前Region分割为两个,并由HMaster分配到相应的RegionServer服务器

    读流程

    1.Client先从缓存定位Region,如果没有缓存则需访问zookeeper,查询-ROOT-表,获取-ROOT-表所在的RegionServer地址。

    2.通过查询-ROOT-表的Region服务器,获取含有.-META-.表所在的RegionServer地址。

    3.Client会将保存着RegionServer位置信息的元数据表.META.进行缓存,然后再表中确定待检索rowkey所在RegionServer信息。

    4.Client会向在.META.表中确定RegionServer发送真正的数据读取请求。

    5.先从memstore中找,如果没有,再到storefile上读。

  • 相关阅读:
    【LeetCode】Longest Substring Without Repeating Characters 解题报告
    高速搞定Eclipse的语法高亮
    [置顶] think in java interview-高级开发人员面试宝典(二)
    数学公式的规约(reduce)和简化(simplify)
    数学公式的规约(reduce)和简化(simplify)
    Analysis of variance(ANOVA)
    Analysis of variance(ANOVA)
    explanatory variable(independent vs dependent)、design matrix
    explanatory variable(independent vs dependent)、design matrix
    OpenGL(十八) 顶点数组和抗锯齿(反走样)设置
  • 原文地址:https://www.cnblogs.com/yangyh11/p/14214186.html
Copyright © 2011-2022 走看看