Hadoop on Mac with IntelliJ IDEA 3 解决MRUnit No applicable class implementing Serialization问题

本文讲述在IntelliJ IDEA中使用MRUnit 1.0.0测试Mapper派生类时因MapDriver.withInput(final K1 key, final V1 val)的key参数被错误设置成空字符串""导致No applicable class implementing Serialization的解决过程。

环境：Mac OS X 10.9.5, IntelliJ IDEA 13.1.4, Hadoop 1.2.1, MRUnit 1.0.0

Hadoop放在虚拟机中，宿主机通过SSH连接，IDE和数据文件在宿主机。IDEA自身运行于JDK 1.8，IDEA工程及Hadoop使用JDK 1.6。

这是个粗心的错误。

操作代码如下：

@SuppressWarnings("all")
public class MapDriverTest {
    private Mapper mapper;
    private MapDriver driver;

    @Before
    public void init() {
        mapper = new TextMapper();
        driver = new MapDriver(mapper);
    }

    @Test
    public void test() {
        String content = "This is a simple test for TextMapper created by Michael";
        try {
            driver.withInput("", new Text(content))
                    .withOutput(new Text("this"), new IntWritable(1))
                    .withOutput(new Text("is"), new IntWritable(1))
                    .withOutput(new Text("a"), new IntWritable(1))
                    .withOutput(new Text("simple"), new IntWritable(1))
                    .withOutput(new Text("test"), new IntWritable(1))
                    .withOutput(new Text("for"), new IntWritable(1))
                    .withOutput(new Text("TextMapper"), new IntWritable(1))
                    .withOutput(new Text("created"), new IntWritable(1))
                    .withOutput(new Text("by"), new IntWritable(1))
                    .withOutput(new Text("Michael"), new IntWritable(1))
                    .runTest();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

相关类代码如下：

public class TextMapper extends Mapper<Object, Text, Text, IntWritable> {
    final IntWritable count = new IntWritable(1);
    final Text text = new Text();

    @Override
    protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
        StringTokenizer tokenizer = new StringTokenizer(value.toString());
        while (tokenizer.hasMoreTokens()) {
            text.set(tokenizer.nextToken());
            context.write(text, count);
        }
    }
}

执行结果如下：

设置成""是完成参考别人代码写的，所以我不知如此设置的原因，原因是Hadoop有一套专用数据类型，分别映射了java基本类型，这里设置成""将被当成设置为String类型，在序列化时因不是Hadoop的数据类型，因而报错（更新于2014.10.06）。下面描述解决过程。

第一步，对比了参考代码，无拼写错误。

第二步，第一次使用MRUnit，Hadoop也刚学习，没人指导，纯抓瞎。只能先验证测试代码本身能否跑起来。注释掉MapDriverTest.test()中driver调用部分，并在init()及test()、TextMapper的map(args)中加入日志，看看代码执行到哪里报错。主体代码示意如下：

MapDriverTest

@Before
public void init() {
    System.out.println("init BEGIN");
    mapper = new TextMapper();
    driver = new MapDriver(mapper);
    System.out.println("init END");
}

@Test
public void test() {
    System.out.println("test BEGIN");
    String content = "This is a simple test for TextMapper created by Michael";
    /*try {
        driver.withInput("", new Text(content))...*/
    System.out.println("test END");
}

TextMapper

@Override
protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
    String keyString = key == null ? "null" : key.toString();
    String valueString = value == null ? "null" : value.toString();
    String invokeString = "map(key = " + keyString +
            ", value = " + valueString + ") BEGIN";
    System.out.println(invokeString);
    StringTokenizer tokenizer = new StringTokenizer(value.toString());
    while (tokenizer.hasMoreTokens()) {
        System.out.println("while RUN");
        text.set(tokenizer.nextToken());
        context.write(text, count);
    }
    System.out.println("map END");
}

按预期，还没调用driver.run()或runtTest()，则TextMapper的map方法日志不会输出。现在执行，输出如下

init BEGIN
init END
test BEGIN
test END

符合预期，测试代码运行正常。

第三步，恢复test方法至上一版本，特别处理driver.withInput的输入参数，为key及value传入相同的值，观察运行结果。新代码如下：

@Test
public void test() {
    System.out.println("test BEGIN");
    String content = "This is a simple test for TextMapper created by Michael";
    try {
        //driver.withInput("", new Text(content))
        driver.withInput(new Text(content), new Text(content)) // pass the same params to withInput, see how it acts.
                .withOutput(new Text("This"), new IntWritable(1))
                .withOutput(new Text("is"), new IntWritable(1))
                .withOutput(new Text("a"), new IntWritable(1))
                .withOutput(new Text("simple"), new IntWritable(1))
                .withOutput(new Text("test"), new IntWritable(1))
                .withOutput(new Text("for"), new IntWritable(1))
                .withOutput(new Text("TextMapper"), new IntWritable(1))
                .withOutput(new Text("created"), new IntWritable(1))
                .withOutput(new Text("by"), new IntWritable(1))
                .withOutput(new Text("Michael"), new IntWritable(1))
                .runTest();
    } catch (IOException e) {
        e.printStackTrace();
    }
    System.out.println("test END");
}

按资料说明，key参数表示每行的字节偏移量^[1]。之前传入""，现在传入与value相同的值，不要位置数据了。走一个，看看啥情况。似乎成功了，看图。

现在，可以认定是key传递""导致的错误了。

再做一次调整，传递key = new Text()，观察执行结果。

通过了。

什么，你要试试传递key = null。会报错的。另外，日志打印用的key == null ? "null" : key.toString()语句，意义不大，因为传递null会导致java.lang.NullPointerException。网上的资料好多是传递null的，我这边测试会报空指向异常。怀疑是RMUnit版本问题。

第一次使用RMUnit，遇到这个问题，即使目前不知原因，但还是勉强跑起来了，继续尝试。

参考

[1]Chuck Lam. Hadoop In Action. Manning Publications. 2010