zoukankan      html  css  js  c++  java
  • Hadoop环境搭建问题总结

         最近抽空搭建了Hadoop完全分布式环境,期间遇到了很多问题,大部分问题还是可以在网上搜到的,这里说下自己遇到的两个没有找到结果的问题吧。

          1、启动时报:没有那个文件或目录

              QQ截图20151228220016

    原因:三台机器的用户名不一致导致的

       

         2、启动Hadoop服务之后,slave01的DataNode未启动,报错信息如下:

    java.net.BindException: Port in use: slave02:50075
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:892)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:828)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startInfoServer(DataNode.java:691)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:1085)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:417)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2328)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2215)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2262)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2438)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2462)
    Caused by: java.net.BindException: 无法指定被请求的地址
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:444)
        at sun.nio.ch.Net.bind(Net.java:436)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:214)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:887)
        ... 9 more

    灵感来自这篇文章:http://jeoygin.org/2012/03/hdfs-source-analysis-datanode-startup-service.html

    原因还未理解(如果有人懂的话,还望指导),具体做法为:将slave01机器上hdfs-site.xml文件中的slave02的相关信息注释掉,只保留自己机器的相关配置即可。

    参考资料:

    1、编译hadoop源码

        http://www.cnblogs.com/yjmyzz/p/compile-hadoop-2_6_0-source-code-in-centos_x64.html

    2、完全分布式安装

        http://www.cnblogs.com/yjmyzz/p/hadoop-2_6_0-full-distribution-deploy-tutorial.html

    (在此非常感谢博主的这两篇博客,)

  • 相关阅读:
    struts2_maven_learning
    test_maven_实现表单验证
    Struts2_learning
    计算机信息安全技术_学习
    SQL_sql语言的学习
    ios视图加载时所涉及到的事件
    ios 判断版本更新
    ios 裁剪图片(1裁多)
    iOS 设置与配置
    ios Auto Layout中Stack View的使用
  • 原文地址:https://www.cnblogs.com/itaot/p/5097482.html
Copyright © 2011-2022 走看看