zoukankan      html  css  js  c++  java
  • 运用MRUnit测试mapper和reducer

    MRUnit可以花费时间少,并且可以分别测试mapper和reducer

    步骤:

    1、  运用MRUnit测试mapper和reducer

    2、  执行mapreduce代码的本地化测试

    3、  使用hadoop日志

    4、  通过计数器跟踪执行指标

    Testing Mapper的过程

    1、  实例化mapdirver类,作为测试中mapper被参数化

    2、  调用withmapper方法来添加想要测试的mapper实例

    3、  根据情况选择withconfiguration方法设置mapper的配置文件

    4、  调用withinput方法来传递所需的key和value

    5、  通过调用withoutput方法设置期望的输出内容

    6、  调用功能rantest方法将设置的输入值传递给mapper

    Testing Reducer的过程

    1、  首先创建一个用做reducer输入的intwritable对象列表

    2、  实例化reducedriver对象

    3、  调用withreduce方法来设置要测试的reducer实例

    4、  通过withconfiguration来传递想要的配置

    5、  调用withinput方法可以将输入值传递给reducer

    6、  调用withoutput方法来设置期望的reducer输出

    7、  最后调用runtest方法,把设置的输入传递给reducer

  • 相关阅读:
    C# 委托/Func() 中 GetInvocationList() 方法的使用 | 接收委托多个返回值
    蒋廷黻著《中国近代史》-中国近代屈辱史读后感
    ASP.NET Core 上传多文件 超简单教程
    Python
    Python
    Python
    Python
    Python
    Python
    Python
  • 原文地址:https://www.cnblogs.com/chenyaling/p/5539541.html
Copyright © 2011-2022 走看看