zoukankan      html  css  js  c++  java
  • Hbase的rowkey设计

    HBase的rowKey设计技巧

    1、设计宗旨与目标

    主要目的就是针对特定的业务模型,按照rowKey进行预分区设计,使之后面加入的数据能够尽可能的分散于不同的rowKey中。比如复合RowKey。

    作用: 一条数据的唯一标识就是rowkey,那么这条数据存储于哪个分区,取决于rowkey处于哪个一个预分区的区间内,设计rowkey的主要目的 ,就是让数据均匀的分布于所有的region中,在一定程度上防止数据倾.

    2、设计方式案例

    2.1、案例一:生成随机数、hash、散列值

    比如:

    原本rowKey为1001的,MD5后变成:b8c37e33defde51cf91e1e03e51657da

    原本rowKey为3001的,MD5后变成:908c9a564a86426585b29f5335b619bc

    原本rowKey为5001的,MD5后变成:03b264c595403666634ac75d828439bc

    在做此操作之前,一般我们会选择从数据集中抽取样本,来决定什么样的rowKey来Hash后作为每个分区的临界值。

    2.2、案例二:字符串反转

    比如:

    20170524000001转成10000042507102

    20170524000002转成20000042507102

    这样也可以在一定程度上散列逐步put进来的数据。

    2.3、案例三:字符串拼接

    比如:

    20170524000001_a12e

    20170524000001_93i7

  • 相关阅读:
    计算两个日期相差的天数
    获取当前星期几
    window下重置mysql用户密码
    window下安装mysql
    oracle用户密码过期如何处理?
    awk
    RunLoop
    通知中心
    KVO
    多线程
  • 原文地址:https://www.cnblogs.com/alexzhang92/p/10941152.html
Copyright © 2011-2022 走看看