zoukankan      html  css  js  c++  java
  • hadoop中datanode无法启动

    一、问题描述

           当我多次格式化文件系统时,如

                  [hadoop@xsh hadoop]$ ./bin/hdfs namenode -format

         会出现datanode无法启动,查看日志(/usr/local/hadoop/logs/hadoop-hadoop-datanode-xsh.log),发现错误为:

            

    2016-07-17 21:22:14,616 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000. Exiting.
    java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/tmp/dfs/data: namenode clusterID = CID-fd069c99-8004-47e1-9f67-a619bf4e9b60; datanode clusterID = CID-9a628355-6954-473b-a66c-d34d7c2b3805

    二、问题产生原因

             当我们执行文件系统格式化时,会在namenode数据文件夹(即配置文件中dfs.namenode.name.dir在本地系统的路径)中保存一个current/VERSION文件,记录clusterID,标识了所格式化的 namenode的版本。如果我们频繁的格式化namenode,那么datanode中保存(即配置文件中dfs.data.dir在本地系统的路径)的current/VERSION文件只是你第一次格式化时保存的namenode的ID,因此就会造成datanode与namenode之间的id不一致。

    (以下两个配置文件:./etc/hadoop/core-site.xml  hdfs.site.xml中有存放路径,仅供参考!http://dblab.xmu.edu.cn/blog/install-hadoop-in-centos/)

    三、解决办法

          把配置文件中dfs.datanode.data.dir在本地系统的路径下的current/VERSION中的clusterID改为与namenode一样。重启即可!

    (还有一种办法是删除dfs文件夹,http://dblab.xmu.edu.cn/blog/818-2/,http://dblab.xmu.edu.cn/blog/install-hadoop/)

  • 相关阅读:
    [LeetCode] 85. 最大矩形
    [LeetCode] 84. 柱状图中最大的矩形
    [LeetCode] 83. 删除排序链表中的重复元素
    [LeetCode] 81. 搜索旋转排序数组 II
    [LeetCode] 82. 删除排序链表中的重复元素 II
    [LeetCode] 80. 删除排序数组中的重复项 II
    [LeetCode] 79. 单词搜索
    [LeetCode] 77. 组合
    转:快乐Node码农的十个习惯
    转:zookeeper3.4.5安装笔记
  • 原文地址:https://www.cnblogs.com/dxwhut/p/5679501.html
Copyright © 2011-2022 走看看