zoukankan      html  css  js  c++  java
  • hadoop datanode 和 tasktracker起不来

    本篇文章主要介绍了"hadoop datanode 和 tasktracker起不来。",主要涉及到hadoop datanode 和 tasktracker起不来。方面的内容,对于hadoop datanode 和 tasktracker起不来。感兴趣的同学可以参考一下。
     

     

    用JPS检查slave1,发觉datanode和tasktracker没有起来。

    1. 先检查日志:/logs/hadoop-hadoop-datanode-slave1.hadoop.log。报错信息如下:
    2. 网上找的解决方案是修改name server,这个是不行的。因为我是内网机,根本不需要用得到DNS服务器,所以猜测肯定是slave1的配置有问题。
    3. 从报告中发现是找不到slave1.hadoop这个域名的解析
    4. 我试着在hosts文件中添加了salve1.hadoop的IP
    5. 重新使用start-all.sh命令之后发觉datanode起来了。下一步要找到配置了slave1.hadoop这个字段的文件。
    6. 查到一半才知道什么叫做屋漏偏逢连夜雨,突然Name node起不来了。报错信息如下:
      • 先查看占用该端口的程序:netstat -apn | grep 9000,再用kill -9 7546,杀掉该进程。重启hadoop之后还是不行。最终我选择了重启master主机,现在端口没被占用了。继续查data node的issue。
    7. 经过检查,发觉我的hostname为:slave1.hadoop。而datanode在启动的时候默认是以hostname作为标识的。
    8. 回想起当时改了hostname之后并未更改host文件,所以造成了该原因。
    9. 如下图,更改之后就OK了
    10. 重启之后,过一会datanode 又消失了,报错信息如下(No route to host):
    11. 最后发现是因为防火墙没关:chkconfig iptables off关闭防火墙
  • 相关阅读:
    Tomcat 调优的技巧
    双亲委派模型
    字典树实现
    Python获取房价信息和导出EXCEL
    日志检索关键字并截取上下行关联内容
    GC日志分析
    Linux 查看 删除进程
    Rotate partitions in DB2 on z
    C++ STL string
    DB2 for z: system catalog tables
  • 原文地址:https://www.cnblogs.com/Leo_wl/p/7211403.html
Copyright © 2011-2022 走看看