zoukankan      html  css  js  c++  java
  • ycsb对hbase性能测试的研究

    ycsb对hbase性能测试

    1、ycsb安装

    下载ycsb软件

    wget https://github.com/downloads/brianfrankcooper/YCSB/ycsb-0.1.4.tar.gz

    解压ycsb软件

    tar xf  ycsb-0.1.4.tar.gz

    cd ycsb-0.1.4

    配置

    将hbase下的jar包放到ycsb中

    cp /usr/hdp/2.2.9.0-3393/hbase/lib/* /usr/tmp/ycsb-0.1.4/hbase-binding/lib/

    将hbase下hbase-site.xml 拷贝到ycsb的conf中

    cp /usr/hdp/2.2.9.0-3393/hbase/conf/hbase-site.xml /usr/tmp/ycsb-0.1.4/hbase-binding/conf/

    有可能会报错

    因为缺少hadoop-common.jar,hadoop-auth*jar ,可以使用find / -name hadoop-common*jar 、find / -name hadoop-auth*jar来进行jar包查找。

    出现错误:java.io.IOException: No FileSystem for scheme: hdfs

    在ycsb下的conf中的hbase-site.xml中添加即可
    <property> <name>fs.file.impl</name> <value>org.apache.hadoop.fs.LocalFileSystem</value> <description>The FileSystem for file: uris.</description>
    </property> <property> <name>fs.hdfs.impl</name> <value>org.apache.hadoop.hdfs.DistributedFileSystem</value> <description>The FileSystem for hdfs: uris.</description>
    </property>
    预先在hbase中创建一个'usertable'表
    create 'usertable','f1' 创建的列族自己控制。
    最后再执行数据加载命令,也就能成功的加载数据了!
    ./ycsb load hbase -P ../workloads/workloada -p threads=10 -p columnfamily=f1 -p recordcount=10000 -s > load.dat
    初次接触,研究到这里,有什么不对的地方还请多指教,后续会继续用ycsb研究相关hbase性能调优!
  • 相关阅读:
    2015 省赛随便写写
    有向图强连通分量
    复杂状态的动态规划
    hdu 3350
    树状DP
    十字链表矩阵
    最优矩阵链乘
    poj 3778
    Poj 3771 hdu 3405
    [2015hdu多校联赛补题]hdu5302 Connect the Graph
  • 原文地址:https://www.cnblogs.com/IceandsnowLove/p/6526841.html
Copyright © 2011-2022 走看看