zoukankan      html  css  js  c++  java
  • TestDFSIO基准测试HDFS

    TestDFSIO用来测试HDFS的I/O性能,它通过使用MapReduce作业来完成测试作为并行读写文件的便捷方法。
    以下命令写了10个文件,每个文件10MB:
    hadoop jar /opt/app/hadoop-2.3.0-cdh5.1.0/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.3.0-cdh5.1.0-tests.jar TestDFSIO -write -nrFiles 10 - fileSize 10MB

    在运行的最后,结果被写入控制台并同时以追加的形式记录在本地一个文件:

    文件默认写在/benchmarks/TestDFSIO/目录下,一个叫io_data的目录中:

    使用-read语句运行读取基准测试文件:

    hadoop jar /opt/app/hadoop-2.3.0-cdh5.1.0/share/hadoop/mapreduce/hadoopmapreduce-client-jobclient-2.3.0-cdh5.1.0-tests.jar TestDFSIO -read -nrFiles 10 - fileSize 10MB

     

  • 相关阅读:
    黑松白鹿
    跨越
    第三年
    Lua windows环境搭建
    Iron man
    水果沙拉
    六周岁
    sqlserver数据库附加报错5120
    [BeiJing2006]狼抓兔子 平面图最小割
    BZOJ2118: 墨墨的等式 思维建图
  • 原文地址:https://www.cnblogs.com/li98/p/10911116.html
Copyright © 2011-2022 走看看