Hadoop debug 方法

      做hadoop开发，需要对hdfs，mapreduce组件等进行修改、测试，如果每次做修改后都打成jar包上传到服务器打log测试的话将非常麻烦和耗时的。所以如果能够通过eclipse进行远程调试将会非常方便与惬意的。

      hadoop远程调试十分简单，只需要自己hack很少的代码就可以完成。步骤如下：

      首先拷贝$HADOOP_HOME/bin/hadoop   到一个文件如$HADOOP_HOME/bin/hadoop-debug

      在最后一行修改，原来的bash代码是

else
  # run it
  exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
fi

      修改为

else
  # run it
  #exec "$JAVA" -Dproc_$COMMAND $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
   exec "$JAVA" -Xdebug -Xrunjdwp:transport=dt_socket,address=7777,server=y,suspend=y $JAVA_HEAP_MAX $HADOOP_OPTS -classpath "$CLASSPATH" $CLASS "$@"
fi

　　address后面是监听的地址，可以改为任意空闲地址。

      启动十分简单，如想要调试DataNode代码，就启动$HADOOP_HOME/bin/hadoop-debug datanode

      这时候会提示监听端口信息。

[××××@×××× bin]$ ./hadoop-debug.sh datanode
Warning: $HADOOP_HOME is deprecated.

Listening for transport dt_socket at address: 7777

      在本地启动eclipse远程调试，如下图：