zoukankan      html  css  js  c++  java
  • 【HBase】快速了解上手rowKey的设计技巧


    为什么要设计rowKey

    首先要弄明白一点,Regions的分区就是根据数据的rowKey处理的,而如果设计rowKey不合理,就会导致所有数据到一个分区,或者并没有很好地发挥预分区带来的负载均衡作用,还是会发生数据倾斜。
    HBase中还有一个就是rowKey的热点问题,因为rowKey是根据字典顺序排序的,如果rowKey设计不合理,当大量的client访问hbase集群的一个或少数几个节点,造成少数region server的读/写请求过多、负载过大,而其他region server负载却很小,就造成了“热点”现象。
    热点问题会造成热点region所在的单个主机负载过大引起性能下降甚至region不可用
    而热点问题产生的原因一般是因为大量连续编号的rowKey,导致相近的记录存在个别Region中,当client检索此类记录时,可能只会调用个别Region,大量访问将会导致此Region所在的主机过载。
    下面就说一下rowKey设计的三个原则和热点问题的解决办法。


    三大原则

    长度原则

    1.rowKey是二进制码流,可以是任意字符串,最大长度是64kb,实际应用一般为10-100 bytes,以 byte[] 形式保存
    2.所以rowKey不能设计得过长,否则会导致占用内存空间过大,限制就是上面提到的64kb

    散列原则

    1.一般建议将rowKey的高位设置为散列字段,由系统随机生成什么是高位?就是rowKey的前面几个数字,如果前面几个为散列字段,就大大降低了相似记录和数据使用大量连续编号rowKey的问题
    2.低位放时间字段,因为如果高位为时间字段,还是会导致热点问题,解决热点问题的核心就是不要让所有相似数据集中在一个RegionServer上

    唯一原则

    很简单,rowKey必须为唯一,因为如果出现重复的rowKey,最新存储的会将之前相同rowKey的数据作一次更新替换


    热点问题的解决

    加盐

    通俗地说,就是在rowKey前面加随机数,这样能让rowKey随机生成分布到各个Region上
    比如现在又三条数据,1111,1112,1113,如果不对其做处理,那这三条数据都会发送到同一个Region中,如果进行加盐,变成了 2341_1111,4232_1112,6442_1113,这样三条数据就会随机分布

    哈希

    哈希会使同一行永远用一个前缀加盐。哈希也可以使负载分散到整个集群,但是读却是可以预测的。使用确定的哈希可以让客户端重构完整的rowkey,可以使用get操作准确获取某一个行数据。

    反转

    就是反转固定长度或数字格式的rowKey,手机号就是最好的例子,因为我们知道同一运营商的后四位一般不会重复,而前三位会有大量重复,所以将其反转就可以快速有效地得到随机rowKey,但是这样也牺牲了rowKey的有序性

    时间戳反转

    一个常见的数据处理问题是快速获取数据的最近版本,使用反转的时间戳作为rowkey的一部分对这个问题十分有用,可以用 Long.Max_Value - timestamp 追加到key的末尾,例如 [key][reverse_timestamp] , [key] 的最新值可以通过scan [key]获得[key]的第一条记录,因为HBase中rowkey是有序的,第一条记录是最后录入的数据。

  • 相关阅读:
    20165323 我期望的师生关系
    20165311 第六周学习总结
    20165311 实验一 Java开发环境的熟悉
    第四周学习总结
    第三周 学习总结
    20165311 预备作业3 Linux安装及学习
    20165336 2017-2018-2 《Java程序设计》第5周学习总结
    20165336 2017-2018-2 《Java程序设计》第4周学习总结
    20165336 2017-2018-2 《Java程序设计》第3周学习总结
    20165336 预备作业3 Linux安装及学习
  • 原文地址:https://www.cnblogs.com/zzzsw0412/p/12772424.html
Copyright © 2011-2022 走看看