zoukankan      html  css  js  c++  java
  • 启动HDFS时datanode无法启动的坑

    启动HDFS

    启动hdfs,进入sbin目录,也可以执行./start-all.sh

    - $cd /app/hadoop/hadoop-2.2.0/sbin
    - $./start-dfs.sh
    

    在此之前要进行NameNode的格式化

    - $cd /app/hadoop/hadoop-2.2.0/
    - $./bin/hdfs namenode -format
    

    格式化是个巨大的坑,慎用!当我们进行多次格式化的时候,会出现datanode无法启动。原因在于多格式化之后,datanode的clusterID 和 namenode的clusterID 不匹配。这是datanode将无法启动。
    解决方法:开机之后只进行一次格式化,格式化之后会导致datanode的clusterID 和 namenode的clusterID的不一致,就要进行替换。

    1.打开name/current/VERSION文件 复制clusterID

    2.打开data/current/VERSIO文件 将clusterID覆盖跟namenode的clusterID一直即可
    3.每个datanode节点的clusterID都要进行替换覆盖

    这时在启动,输入jps查看进程,就可以看到namenode,datanode节点都起来了

    出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode-format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。

  • 相关阅读:
    css+js实现的一个导航栏
    各类插件的网页库
    vue构建项目全过程
    手把手教你使用Git
    创建git库
    VUE.JS的安装
    reset.css 初始化
    分布式事务方案
    线程池的参数
    每秒上千订单场景下,如何对分布式锁的并发能力进行优化
  • 原文地址:https://www.cnblogs.com/zlxbky/p/9042832.html
Copyright © 2011-2022 走看看