zoukankan      html  css  js  c++  java
  • Hbase的自动分区

    一、HBase有哪些基本的特征
    HBase是类似于google的bigtable的开源实现,拥有以下特征:
    (1)、在HDFS之上
    (2)、 基于列存储的分布式数据库
    (3)、用于实时地读、写大规模数据集
    其他HBase的特性:
    (1)、没有真正的索引,行顺序存储,也没有所谓的索引膨胀问题。
    (2)、自动分区,表增长时,自动分区到新的节点上。
    (3)、线性扩展和区域会自动重新平衡,运行RegionServer,达到负载均衡的目的。
    (4)、容错和普通商用的硬件支持。这点同hadoop类似。

    二、HBase相对于关系数据库能解决的问题是什么
    其实就是关系数据库与HBase各自的优缺点。
    关系数据库的缺憾:
    (1)、扩展困难
    (2)、 维护复杂
    HBase就是解决可伸缩行的问题。通过简单增加节点来获取线性扩展性。不支持SQL。
    HBase与RDBMS的区别:
    (1)、表的设计:HBase的表可以很高,很宽,可伸缩性很强。而且表的模式是物理存储的直接反映。
    (2)、 拓扑: HBase能水平分区并在上千个节点上自动复制。
    (3)、 应用形式: 开发者必须承担更多的责任来正确地利用HBase的检索和存储方式。
    (4)、 RDBMS 遵循固定的模式,如“科德十二定律和范式规则”,强调事务的“强一致性”、参照完整性、SQL支持、数据的逻辑与物理形式相对独立。等等。适用于中小规模的数据,但对于数据的规模和并发读写方面进行大规模扩展时,RDBMS会性能大大降低,分布式更为困难,因为其需要放弃很多RDBMS的易用的特性。
    (5)、HBase适用于上亿、上千亿级的数据,如果是只有上千、上百万级别是数据,传统的RDBMS是更好的选择。HBase需要更多硬件,如果硬件较少,如5个,干不成什么好事。如果从RDBMS移植到HBase,需要消除RDBMS的很多额外特性,如列数据类型、第二索引、事务、高级查询等

    三、自动分区
    1、Hbase中扩展和负载均衡的基本单元叫做Region。Region本质上是以行键排序的连续存储的区间。如果region太大,系统会自动拆分它,反之,就会把多个region合并,以减少存储文件的数量。
    2、Hbase中的region相当于rdbms中的分区范围划分,可被分配到若干个服务器上以达到负载均衡,提供了较强的扩展性。
    3、一张表初始的时候只有一台region服务器。当在插入数据时,超过了限定的region大小,系统就会按region中间的那个行键将其拆分为对等大小的子region。
    4、Region和region server是多对一的关系,意思就是每一个region只能由一台region服务器加载,每一台region服务器可以同时加载多个region。

    5、每台服务器中的region的最佳加载数量是10~1000,每个region的最佳大小是1~2G。每台服务器能加载的region数量和每个region的最佳存储大小取决于单台服务器的有效处理能力。
    6、region拆分和服务相当于其他系统提供的自动分区。当一台服务器出现故障后,该服务器上的region可以快速恢复;当服务于某个region的服务器负载过大、发生错误或者被停止导致该服务器不可使用的时候,系统会将改服务器上的region移到其他服务器上。
    7、region的拆分操作几乎是瞬间完成,因为拆分之后的region读取的仍然是原存储文件,直接合并把存储文件异步地写成独立的文件。

  • 相关阅读:
    Hystrix服务降级
    postman使用教程12-预处理(pre-request) 发送请求
    postman使用教程11- sign 签名预处理(pre-request)
    postman使用教程10-请求前参数预处理(pre-request)
    postman使用教程9-点 code 按钮生成代码段
    postman使用教程8-设置断言(Tests脚本编写)
    postman使用教程7-参数化引用外部文件(txt/csv/json)测试数据
    postman使用教程6-引用随机变量($guid,$timestamp,$randomInt)
    postman使用教程5-Test脚本中自定义变量(参数关联 提取 token 和引用 token )
    postman使用教程4-集合变量(collection variables)的使用
  • 原文地址:https://www.cnblogs.com/guo-up/p/8350791.html
Copyright © 2011-2022 走看看