HBase0.94.2-cdh4.2.0需求评估测试报告1.0之二

Hbase 配置文件：

hbase-site.xml

<configuration>

 <property>

        <name>hbase.cluster.distributed</name>

        <value>true</value>

 </property>

 <property>

        <name>hbase.rootdir</name>

        <value>hdfs://cdh-master:9000/hbase</value>

 </property>

 <property>

       <name>zookeeper.session.timeout</name>

       <value>60000</value>

  </property>

 <property>

         <name>hbase.zookeeper.quorum</name>

        <value>cdh-master,cdh-node1,cdh-node2</value>

 </property>

 <property>

        <name>hbase.zookeeper.property.dataDir</name>

        <value>/var/lib/zookeeper</value>

 </property>

 <property>

        <name>hbase.master</name>

        <value>172.168.10.251:60000</value>

 </property>

 <property>

        <name>hbase.zookeeper.property.clientPort</name>

        <value>2181</value>

 </property>

<property>

  <name>hbase.hregion.majorcompaction</name>

  <value>0</value>

</property>

<property>

  <name>hbase.hregion.max.filesize</name>

  <value>10485760000</value>

</property>

<property>

  <name>hbase.hregion.memstore.flush.size</name>

  <value>104857600</value>

</property>

<property>

  <name>hbase.regionserver.regionSplitLimit</name>

  <value>1</value>

</property>

<property>

  <name>hbase.hstore.compaction.max</name>

  <value>10</value>

</property>

<property>

  <name>hbase.hstore.blockingStoreFiles</name>

  <value>3</value>

</property>

<property>

  <name>hbase.hstore.compaction.max.size</name>

  <value>1048576000</value>

</property>

 

</configuration>

 

1.1  测试方法(和工具)

测试工具：hadoop jar /usr/lib/hbase/hbase-0.94.2-cdh4.2.0-security.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,t:v01 tbs /user/hac/input/$filedir （/user/hac/input目录下的tsv文件导入hbase数据库）

测试命令：

./genData.py  -p $prephone -m $filesize -f $filename （产生顺序row id的tsv导入文件，值为1K）

./randData.py -p $prephone -m $filesize -f $filename -s $regionmax（产生随机row id的tsv导入文件，值为1K）

2  测试过程

2.1   测试方案

2.1.1 测试目标

l   测试HBase的flush事件

l   测试HBase的compact事件

l   测试HBase的高可用性

2.1.2 测试过程

将测试过程分为两组进行：

第一组：hbase shell创建表，一个列，一个分区，在本地/root文件夹中创建指定大小tsv格式文件，文件内容第一列值是顺序的，例如：13100000001、13100000002、13100000003，并上传到HDFS文件系统/user/hac/input文件夹中，然后导入到hbase数据库。

第二组：hbase shell创建表，一个列，四个分区，在本地/root文件夹中创建指定大小tsv格式文件，文件内容第一列值是随机的，例如：13100803005、13101437328、13101391705，并上传到HDFS文件系统/user/hac/input文件夹中，然后导入到hbase数据库。