HBASE学习笔记(五)

一、HBase的RowKey设计原则

---

 　　1.我们知道HBase是三维有序存储的，通过RowKey(行键),ColumnKey(Column family和qualifier)和TimeStamp(时间戳),这三个维度，对HBase中的数据进行快速的定位，Hbase中的RowKey可以唯一的标识一行记录，在HBase查询的时候，有以下的几种方式：

　　1）通过get的方式，指定rowkey获取唯一一条记录。

　　2）通过scan的方式，设置startRow和stopRow参数的方式进行范围的匹配

　　3）全表扫描，直接扫描整张中的数据。

　　2.热点问题

　　hbase中的行是按照rowkey的字典顺序进行排序的，这种设计优化了scan操作，可以将相关的行以及会被一起读取的行存在临近位置，便于scan。而糟糕的设计是热点的源头，热点发生在大量的client直接访问节点上一个或者极少数个节点上（访问可能是读、写或者是其他的操作），即是大量的数据都流向了集群的一个或者几个节点的上面，大量的访问会使得单个的机器超出自身的承受能力，引起性能的下降甚至性能的不可用，这也会影响同一个regionServer上的其他region ,由于主机无法服务其他主机的请求，没有达到数据的均衡分散。设计良好的数据访问模式，以使集群被充分，均衡的调用。

　　3.避免热点的方法有以下几种：

　　　　1）加盐。具体的操作就是在rowKey前面添加随机数，具体就是给rowKey分配一个随机前缀，以使得其和之前的rowkey的开头不相同，分配的前缀的种类数量和你想使用数据分散到不同region的数量一致，加盐之后的rowKey就会根据随机生成的前缀分散到各个region上，以避免热点。

　　　　2）hash。哈希会使得同一行永远使用一个前缀加盐，哈希也可以使得负载分散到整个的集群，但是读却是可以预测的。使用确定的hash可以让客户端重构完整的rowKey,可以使用get操作准确的获取某一行数据

　　　　3）反转。第三种放置热点的方法是反转固定长度或者数字格式的rowKey,这样可以使得rowKey中经常改变的部分放到前面，这样可以有效的随机rowKey,但是牺牲了rowKey的有序性。反转rowKey的例子以手机号为RowKey,可以将手机号反转后的字符串作为rowKey,这样可以避免以手机号那样的比较固定的开头导致热点问题。　　　　

　　　　4）时间戳反转。一个常见的数据处理问题是快速的获取数据最近的版本，使用反转的时间戳为rowkey的一部分对这个问题十分有用，可以用 Long.Max_Value - timestamp 追加到 key 的末尾，例如 [key][reverse_timestamp] , [key] 的最新值可以通过 scan[key]获得[key]的第一条记录，因为 HBase 中 rowkey 是有序的，第一条记录是最后录入的数据。列族尽可能越短越好，最好是一个字符， 冗长的属性名虽然可读性好，但是更短的属性名存储在 HBase 中会更好 。

　　4.RowKey的设计原则

　　　　1.rowkey的长度设计原则：rowkey是一个二进制码流，可以是任意字符串，最大长度是64kb，在实际应用中一般为10到100bytes，以字节数组byte[]的形式保留，一般设计成定长，建议越短越好，一般不超过16个字节。

　　　　2.rowkey的散列原则，如果rowkey按照时间戳的方式递增，不要将时间放在二进制吗的前面，建议将rowKey的高位采用散列字段来进行处理，由程序随机生成，低位放时间字段，这样讲提高数据均衡分布在每个RegionServer中，以实现负载均衡的可能性。如果不进行散列字段处理，首字段直接使用时间信息，所有的数据都会集中分布在一个regionServer上，这样在进行检索的时候，负载会集中在个别的RegionServer上，造成热点问题，降低查询效率。

　　　　3.rowkey的唯一性原则。必须在设计上保证其唯一性，rowkey是按照字典顺序排序存储的，因此在设计rowKey的时候要充分利用排序这个特点，将经常读取的数据存储在一块，将最近可能访问的数据存储到一块。

　　　　4.盐析。在rowkey的前面增加随机数，具体就是给rowkey分配一个随机前缀，以使他和之前的rowkey的前缀不同，分配的前缀的种类数量应该和你想使用的数据分散到不同region的数量是一致的，加盐之后的rowkey会根据随机生成的前缀分散到各个region上。以避免热点。

　　4.电信公司实例。

　　电信公司rowKey设计实例：

　　　　0.区域划分：划分100个区域，从00到99

　　　　　　CallerId +  201703 :hashcode % 100  = 00 -99 

　　　　1.rowKey设计：rno  +  callerid  +  calltime[201702011212]  +  calleeid  +  duration ，这个地方注意：rno 等于callerid + calltime 的一部分

 　　　　2.通话记录：

　　　　　　1)创建表：$hbase>create 'ns1:calllogs','f1'

　　　　　　2)创建单元测试。向表中添加数据。

package com.it18zhang.hbaseDemo;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.TableName;
import org.apache.hadoop.hbase.client.Connection;
import org.apache.hadoop.hbase.client.ConnectionFactory;
import org.apache.hadoop.hbase.client.Put;
import org.apache.hadoop.hbase.client.Table;
import org.apache.hadoop.hbase.util.Bytes;
import org.junit.Test;

import java.io.IOException;
import java.text.DecimalFormat;
import java.text.SimpleDateFormat;
import java.util.Date;

/**
 * 通话日志
 * rowKey的设计
 * 区号：主叫或被叫，时间,方向0-主叫，1-被叫
 *xx,callerid ,time，direction ,calleid,duration
 *
 */
public class TestCalllogs {
    @Test
    public  void put() throws Exception {
        Configuration conf = HBaseConfiguration.create();
        Connection conn = ConnectionFactory.createConnection(conf);
        TableName tname = TableName.valueOf("ns1:calllogs");
        Table table = conn.getTable(tname);
        String callerId ="13845456767";
        String calleeId ="13989897878";
        SimpleDateFormat sdf = new SimpleDateFormat();
        sdf.applyPattern("yyyymmddhhmmss");
        String callTime = sdf.format(new Date());
        int duration =100 ;
        DecimalFormat df= new DecimalFormat("00000");
        String dura = df.format(duration);
        //区域00-99
        int hash =(callerId+ callTime.substring(0,6)).hashCode() %100;
        hash = (hash & Integer.MAX_VALUE)%100;
        //hash区域号
        DecimalFormat dff = new DecimalFormat();
        dff.applyPattern("00");
        String regNo = dff.format(hash);
        //拼接rowkey
        String rowKey = regNo+"，"+","+callerId+","+callTime+","+"0"+calleeId+","+dura;
        byte[] rowid = Bytes.toBytes("row3");
        Put put = new Put(rowid);
        put.addColumn(Bytes.toBytes("f1"),Bytes.toBytes("callerPos"),Bytes.toBytes("河北"));
        put.addColumn(Bytes.toBytes("f1"),Bytes.toBytes("callerPos"),Bytes.toBytes("河南"));
        table.put(put);
    }
}

　　　　3）创建协处理器。

　　

public class CalleeLogRegionObserver extends BaseRegionObserver{

            public void postPut(ObserverContext<RegionCoprocessorEnvironment> e, Put put, WALEdit edit, Durability durability) throws IOException {
                super.postPut(e, put, edit, durability);
                //
                TableName callLogs = TableName.valueOf("calllogs");
                //得到当前的TableName对象
                TableName tableName = e.getEnvironment().getRegion().getRegionInfo().getTable();
                if(!callLogs.equals(tableName)){
                    return  ;
                }

                //得到主叫的rowkey
                //xx , callerid , time ,  direction, calleid  ,duration
                //被叫:calleid,time,

                String rowkey = Bytes.toString(put.getRow());
                String[] arr = rowkey.split(",");

                String hash = Util.getRegNo(arr[4],arr[2]);
                //hash

                String newRowKey = hash + "," + arr[4] + "," + arr[2] + ",1," + arr[1] + "," +  arr[5] ;
                Put newPut = new Put(Bytes.toBytes(newRowKey));

                Table t = e.getEnvironment().getTable(tableName);

                t.put(newPut);
            }
        }

　　4.配置hbase-site.xml并分发

　　　　<property>
　　　　　　<name>hbase.coprocessor.region.classes</name>
　　　　　　<value>it18zhang.hbaseDemo.coprocessor1.CalleeLogRegionObserver</value>

　　　　</property>