zoukankan      html  css  js  c++  java
  • hadoop自带TestDFSIO学习

    hadoop系统中,包含了很多测试工具包,如测试mapreduce系统读写文件系统,有testDFSIO工具

    首先安装好hadoop,配置好环境变量

    进入share目录下的mapreduce目录下面,使用测试的jar包

    testDFSIO的参数如下:

    read

    读测试。执行该测试之前,需要先做write测试

    write

    写测试

    nfFiles

    文件个数,默认为1

    fileSize

    文件大小,默认为1MB

    resFile

    结果文件名,默认为” TestDFSIO_results.log”

    bufferSize

    设置缓存大小,默认为1000000

    clean

    清理数据

    seq

    数据是否有序,默认无序

    输入命令:

    测试写

    hadoop jar *tests.jar TestDFSIO -write -nrFiles 256 -fileSize 1000 
    测试结果
    结果说明
    结果说明:
    Total MBytes processed : 总共需要写入的数据量 ==》 256*1000
    Throughput mb/sec :总共需要写入的数据量/(每个map任务实际写入数据的执行时间之和(这个时间会远小于Test exec time sec))==》256000/(map1写时间+map2写时间+...)
    Average IO rate mb/sec :(每个map需要写入的数据量/每个map任务实际写入数据的执行时间)之和/任务数==》(1000/map1写时间+1000/map2写时间+...)/256,所以这个值跟上面一个值总是存在差异。
    IO rate std deviation :上一个值的标准差
    Test exec time sec :整个job的执行时间
    测试读
    hadoop jar *tests.jar TestDFSIO -read -nrFiles 256-fileSize 1000 
    测试结果

    测试得过程中,注意目录的权限,可能会出现权限不够而失败的情况

  • 相关阅读:
    Cpp Singleton
    回溯法( Backtracking Algorithms ) :C语言Maze迷宫问题(自己实现)
    First wxWidgets Demo, wxWidgets简单示例
    copy contructor拷贝构造函数 (Copy Control)
    UPX (Ultimate Packer for eXecutables) 多平台可执行文件压缩
    wxWidgets Event Handling
    WxWidgets 安装与测试
    顺序查找 sequential find
    HDU1171 Big Event in HDU 背包
    HDU2091 水题
  • 原文地址:https://www.cnblogs.com/hellowcf/p/6945308.html
Copyright © 2011-2022 走看看