zoukankan      html  css  js  c++  java
  • hadoop datanode只能启动2个

    问题描述:

    集群原始组成部分为:Master、Slave1、Slave2后来有添加一台Slave3,配置完相应的文件后,启动hadoop、spark发现只启动了Slave1、Slave3两个datanode,后来停止掉hadoop服务后,再次启动,这次只启动了Slave1、Slave2,jps查看Slave3的进程也没有datanode,但是对于yarn、spark此机器确实有启动对应服务

     

    查看/app/hadoop/logs/hadoop-root-namenode-Master.log

     

    解决办法:

    回想下,可能是由于我添加的节点直接拷贝的Slave2机器的内容(包括hadoop、spark软件,及软件日志,datanode ID信息等等),因为他们的storageID是一样的,datanode启动时会向Master发送BPID,可以在log中查看到这些信息

    2015-05-26 10:23:47,485 INFO org.apache.hadoop.hdfs.server.datanode.BlockPoolSliceScanner: Periodic Block Verification Scanner initialized with interval 504 hours for block pool BP-1121039461-192.168.255.131-1431764031745

    2015-05-26 10:23:47,491 INFO org.apache.hadoop.hdfs.server.datanode.DataBlockScanner: Added bpid=BP-1121039461-192.168.255.131-1431764031745 to blockPoolScannerMap, new size=1

    先关闭hadoop服务,然后

    删除Slave3的如下目录文件

    /app/hadoop/logs/*

    /app/hadoop/hdfs/data/*

    删除完后,再次启动,问题解决

  • 相关阅读:
    多条件复合搜索的实现
    mysql字符集统一
    JS控制彈出窗口
    mysql常用sql
    正则表达式
    航班时间
    1月19日
    1月28日check小爱用
    在么小猫
    大连美发备考
  • 原文地址:https://www.cnblogs.com/OS-BigData/p/8527824.html
Copyright © 2011-2022 走看看