zoukankan      html  css  js  c++  java
  • 运用MRUnit测试mapper和reducer

    MRUnit可以花费时间少,并且可以分别测试mapper和reducer

    步骤:

    1、  运用MRUnit测试mapper和reducer

    2、  执行mapreduce代码的本地化测试

    3、  使用hadoop日志

    4、  通过计数器跟踪执行指标

    Testing Mapper的过程

    1、  实例化mapdirver类,作为测试中mapper被参数化

    2、  调用withmapper方法来添加想要测试的mapper实例

    3、  根据情况选择withconfiguration方法设置mapper的配置文件

    4、  调用withinput方法来传递所需的key和value

    5、  通过调用withoutput方法设置期望的输出内容

    6、  调用功能rantest方法将设置的输入值传递给mapper

    Testing Reducer的过程

    1、  首先创建一个用做reducer输入的intwritable对象列表

    2、  实例化reducedriver对象

    3、  调用withreduce方法来设置要测试的reducer实例

    4、  通过withconfiguration来传递想要的配置

    5、  调用withinput方法可以将输入值传递给reducer

    6、  调用withoutput方法来设置期望的reducer输出

    7、  最后调用runtest方法,把设置的输入传递给reducer

  • 相关阅读:
    表的相关操作
    存储引擎介绍
    库的相关操作
    初始数据库
    linux版本的mysql安装
    mysql在windows上的安装即配置
    线程实际操作篇
    用户模板和用户场景
    顶会热词统计
    移动端疫情展示
  • 原文地址:https://www.cnblogs.com/chenyaling/p/5539541.html
Copyright © 2011-2022 走看看