zoukankan      html  css  js  c++  java
  • Hadoop学习(一)

    今天刚刚从hadoop网址下载了edition 0.21,上传到公司内网 server上试了一把。

     

    跟着官方网站走了一趟,在执行

    Format a new distributed-filesystem:
    $ bin/hadoop namenode -format

    后执行

    Start the hadoop daemons:
    $ bin/start-all.sh

    时报错:

     

     

    2011-03-01 14:08:25,278 INFO org.apache.hadoop.security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBa

    sedUnixGroupsMapping; cacheTimeout=300000

    2011-03-01 14:08:25,881 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): file:/// has no authority.

            at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:214)

            at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:237)

            at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1440)

            at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1393)

            at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1407)

            at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1552)

     

    2011-03-01 14:08:25,885 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 

    /************************************************************

    SHUTDOWN_MSG: Shutting down DataNode at cloudface04/9.186.62.74

    ************************************************************/

     

    这个问题原因是fs.defaultFS没有配置。可以参照

     

     

    conf/core-site.xml:

    <configuration>
         <property>
             <name>fs.default.name</name>
             <value>hdfs://localhost:9000</value>
         </property>
    </configuration>
    


    conf/hdfs-site.xml:

    <configuration>
         <property>
             <name>dfs.replication</name>
             <value>1</value>
         </property>
    </configuration>
    


    conf/mapred-site.xml:

    <configuration>
         <property>
             <name>mapred.job.tracker</name>
             <value>localhost:9001</value>
         </property>
    </configuration>
    对hadoop进行基本配置。默认并没有配置。
    
    
    配置好后,重新执行:
    $ bin/start-all.sh 启动正常。
    
    
    hadoop默认的NameNode 和 JobTracker 
  • 相关阅读:
    vs 2015 "加载该页时出错。" 解决方案
    Web API使用HttpResponseMessage与HttpResponseException的差异 HttpResponseMessage 返回类型
    a标签使用href=”javascript:void(0); 在火狐浏览器跟chrome 不兼容
    SQL语句 转
    Fiddler抓包 截包伪造提交包
    图片懒加载
    dropzone 上传插件
    MVC5+EF6 完整教程 转
    用Aspose.Cell控件导入Excel非强类型的数据
    利用Aspose.Word控件实现Word文档的操作
  • 原文地址:https://www.cnblogs.com/wshsdlau/p/3528981.html
Copyright © 2011-2022 走看看