一、概述：
在实际使用hadoop的过程中，由于涉及到多台服务器、每台机器上可能还有多个服务等。所以当集群环境出现问题时，快速定位到错误出现的地方尤为重要。
在排查错误的过程中，基本上就是通过既有的工具来检测集群的运行时环境、集群日志等来分析导致错误的原因。
二、Java heap：
hadoop需要运行在Java运行时环境之上。因此jvm中的内存分配是否处于合理的状态，就是需要检测的一个因素。Java虚拟机中分为多个区域，最值得关注的区域是heap区。heap区的大体划分如下：
创建对象时，会首先在Eden区分配内存来创建。随着时间的推移，Eden会慢慢被填满，此时就会触发一次垃圾回收，将Eden区的对象复制到From区。当From区填满时，则又会触发一次垃圾回收，从From区复制到To区。
在复制的过程中，当某个对象复制的次数达到阈值时，就会从年轻代复制到old区域。
在young区域中，垃圾回收器主要是使用ParNew，它是基于复制的垃圾回收器。
在Old区域，可选择的垃圾回收器有：串行（serialOld），并发（ParallelOld），并行（CMS）等。
可以使用下述的命令来查看垃圾回收的相关信息：
[root@node1 ~]# jps 2352 DFSZKFailoverController 2067 NameNode 2456 ResourceManager 2719 Jps [root@node1 ~]# jstat -gcutil 2456 2000 S0 S1 E O P YGC YGCT FGC FGCT GCT 0.00 0.00 25.60 56.20 49.73 10 0.202 1 0.161 0.364 0.00 0.00 25.60 56.20 49.73 10 0.202 1 0.161 0.364 0.00 0.00 25.60 56.20 49.73 10 0.202 1 0.161 0.364 0.00 0.00 25.60 56.20 49.73 10 0.202 1 0.161 0.364 0.00 0.00 25.60 56.20 49.73 10 0.202 1 0.161 0.364
三、通过浏览器界面查看：
hadoop集群中提供了很多基于web服务的界面。
namenode管理界面：http://hostname:50057
ResourceManager管理界面：http://hostname:8088
JobTracker管理界面(hadoop1.x)：http://hostname:50030
四、查看日志：
通过tar包安装的hadoop日志一般位于<hadoop_home>/logs目录下。
通过cdh安装的hadoop日志一般位于/var/log/hadoop目录下。
log的级别设置：在hadoop-daemon.sh中定义：
五、在线分析工具：
1、jstack：用于打印出给定的java进程ID或core file或远程调试服务的Java堆栈信息。
[root@node1 test]# jps 2352 DFSZKFailoverController 2067 NameNode 2456 ResourceManager 2819 Jps [root@node1 test]# jstack 2456 > rm.dat [root@node1 test]# ls rm.dat [root@node1 test]# vim rm.dat 2016-01-27 16:30:24 Full thread dump Java HotSpot(TM) 64-Bit Server VM (24.79-b02 mixed mode): "Attach Listener" daemon prio=10 tid=0x00007fed089fd000 nid=0xb1b runnable [0x0000000000000000] java.lang.Thread.State: RUNNABLE "2141196255@qtp-1207409333-7" daemon prio=10 tid=0x00007fecf4456800 nid=0xab8 in Object.wait() [0x00007fece4c2b000] java.lang.Thread.State: TIMED_WAITING (on object monitor) at java.lang.Object.wait(Native Method) - waiting on <0x00000000c222d760> (a org.mortbay.thread.QueuedThreadPool$PoolThread) at org.mortbay.thread.QueuedThreadPool$PoolThread.run(QueuedThreadPool.java:626) - locked <0x00000000c222d760> (a org.mortbay.thread.QueuedThreadPool$PoolThread) "ApplicationMaster Launcher" prio=10 tid=0x00007fed090e5000 nid=0xa9e waiting on condition [0x00007fece502f000] java.lang.Thread.State: WAITING (parking) at sun.misc.Unsafe.park(Native Method) - parking to wait for <0x00000000c1c1b0e0> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject) at java.util.concurrent.locks.LockSupport.park(LockSupport.java:186) at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2043) "rm.dat" 2017L, 144689C
2、jmap+jhat分析：
A、首先用jps或者ps或许需要查询的进程id。
B、用jmap得到进程的进行时内存镜像，命令如下：
jmap -dump:live,format=b,file=jmap.dat ${PID}
C、用jhat进行内存分析：命令如下：
jhat -J-Xmx2G jmap.dat
D、jhat启动后会建立一个HTTP server，端口为7000，可以通过浏览器查看统计数据。
3、fsck检查文件系统是否有损坏的blocks。
4、使用dfsadmin命令。
六、其他工具：
1、strace：这是一个Linux工具。
2、iostat：查看磁盘是否出现瓶颈。
3、nload：监控当前的网络带宽。
4、iptraf。
5、netstat：查看端口占用。
6、tcpdump：抓包工具。示例如下：
tcpdump -nn -i etho -xX -s 0 tcp and port 2181