zoukankan      html  css  js  c++  java
  • 安装使用Hadoop遇到的一些问题

    安装完后却不能运行Hadoop,仔细查看日志信息,Hadoop记录了详尽的日志信息,日志文件保存在logs文件夹内。

    无论是启动,还是以后会经常用到的MapReduce中的每一个job,以及HDFS等相关信息,Hadoop均存有日志文件以供分析。

    例如:

    NameNode和DataNode的namespaceID不一致,日志信息为:

    java.io.IOException:Incompatible namespaceIDs in/root/tmp/dfs/data:NameNode

    namespaceID=1307672299; DataNode namespaceID=389959598

    若HDFS一直没有启动,可以查询日志,并通过日志进行分析,以上提示信息显示了NameNode和DataNode的namespaceID不一致。

    这个问题一般是由于两次或两次以上的格式化NameNode造成的。

    有两种方法可以解决,第一种方法是删除DataNode的所有资料;第二种方法是修改每个DataNode的namespaceID(位于/dfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/dfs/name/current/VERSION文件中),使其保持一致。

    下面这两种方法在实际应用中也可能会用到。

    1)重启坏掉的DataNode或JobTracker。当Hadoop集群的某单个节点出现问题时,一般不必重启整个系统,只须重启这个节点,它会自动连入整个集群。

    在坏死的节点上输入如下命令即可:

    bin/Hadoop-daemon.sh start DataNode

    bin/Hadoop-daemon.sh start jobtracker

    2)动态加入DataNode或TaskTracker。这个命令允许用户动态将某个节点加入集群中。

    bin/Hadoop-daemon.sh --config./conf start DataNode

    bin/Hadoop-daemon.sh --config./conf start tasktracker

  • 相关阅读:
    Visual Studio 2010CTP的安装
    Crystal Reports中的数据访问
    Web.config配置文件详解1
    asp.net 面向对象方式的传值
    DataSet导出到Excel
    asp.net 身份验证
    Ini文件操作类
    asp.net环境下配置kindEditor文本编辑器
    验证视图状态 MAC 失败解决方法
    Web.config配置文件详解2
  • 原文地址:https://www.cnblogs.com/xiaohaigege666/p/9670926.html
Copyright © 2011-2022 走看看