zoukankan      html  css  js  c++  java
  • HBase0.94.2-cdh4.2.0需求评估测试报告1.0之二

    Hbase 配置文件:

    hbase-site.xml

    <configuration>

     <property>

            <name>hbase.cluster.distributed</name>

            <value>true</value>

     </property>

     <property>

            <name>hbase.rootdir</name>

            <value>hdfs://cdh-master:9000/hbase</value>

     </property>

     <property>

           <name>zookeeper.session.timeout</name>

           <value>60000</value>

      </property>

     <property>

             <name>hbase.zookeeper.quorum</name>

            <value>cdh-master,cdh-node1,cdh-node2</value>

     </property>

     <property>

            <name>hbase.zookeeper.property.dataDir</name>

            <value>/var/lib/zookeeper</value>

     </property>

     <property>

            <name>hbase.master</name>

            <value>172.168.10.251:60000</value>

     </property>

     <property>

            <name>hbase.zookeeper.property.clientPort</name>

            <value>2181</value>

     </property>

    <property>

      <name>hbase.hregion.majorcompaction</name>

      <value>0</value>

    </property>

    <property>

      <name>hbase.hregion.max.filesize</name>

      <value>10485760000</value>

    </property>

    <property>

      <name>hbase.hregion.memstore.flush.size</name>

      <value>104857600</value>

    </property>

    <property>

      <name>hbase.regionserver.regionSplitLimit</name>

      <value>1</value>

    </property>

    <property>

      <name>hbase.hstore.compaction.max</name>

      <value>10</value>

    </property>

    <property>

      <name>hbase.hstore.blockingStoreFiles</name>

      <value>3</value>

    </property>

    <property>

      <name>hbase.hstore.compaction.max.size</name>

      <value>1048576000</value>

    </property>

     

    </configuration>

     

    1.1  测试方法(和工具)

    测试工具:hadoop jar /usr/lib/hbase/hbase-0.94.2-cdh4.2.0-security.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,t:v01 tbs /user/hac/input/$filedir (/user/hac/input目录下的tsv文件导入hbase数据库)

    测试命令:

    ./genData.py  -p $prephone -m $filesize -f $filename (产生顺序row id的tsv导入文件,值为1K)

    ./randData.py -p $prephone -m $filesize -f $filename -s $regionmax(产生随机row id的tsv导入文件,值为1K)

    2  测试过程

    2.1   测试方案

    2.1.1 测试目标

    l   测试HBase的flush事件

    l   测试HBase的compact事件

    l   测试HBase的高可用性

    2.1.2 测试过程

    将测试过程分为两组进行:

    第一组:hbase shell创建表,一个列,一个分区,在本地/root文件夹中创建指定大小tsv格式文件,文件内容第一列值是顺序的,例如:13100000001、13100000002、13100000003,并上传到HDFS文件系统/user/hac/input文件夹中,然后导入到hbase数据库。


    第二组:hbase shell创建表,一个列,四个分区,在本地/root文件夹中创建指定大小tsv格式文件,文件内容第一列值是随机的,例如:13100803005、13101437328、13101391705,并上传到HDFS文件系统/user/hac/input文件夹中,然后导入到hbase数据库。

     

  • 相关阅读:
    在Linux下运行YY,WINE方式,主要注册表修改点及字体文件列表
    安卓so下,cmake编译系统,如何仅导出指定符号
    AutoHotKey脚本模板:初始化、配置、退出
    资源ID管理插件:VS6/VS.NET
    ListView控件,表格模式下,如何调整行高
    通过wscript运行的JS脚本,如何引入另一个JS文件
    64位编译器下,将指针转换成UINT32,不需要修改编译选项的编码方式
    视频帧双缓冲区的两个版本
    opencv、numpy中矩阵转置,矩阵内的固定位置相应的坐标变换
    CMake下,某些选项的后调整
  • 原文地址:https://www.cnblogs.com/jinyz/p/3299038.html
Copyright © 2011-2022 走看看