zoukankan      html  css  js  c++  java
  • hadoop datanode只能启动2个

    问题描述:

    集群原始组成部分为:Master、Slave1、Slave2后来有添加一台Slave3,配置完相应的文件后,启动hadoop、spark发现只启动了Slave1、Slave3两个datanode,后来停止掉hadoop服务后,再次启动,这次只启动了Slave1、Slave2,jps查看Slave3的进程也没有datanode,但是对于yarn、spark此机器确实有启动对应服务

     

    查看/app/hadoop/logs/hadoop-root-namenode-Master.log

     

    解决办法:

    回想下,可能是由于我添加的节点直接拷贝的Slave2机器的内容(包括hadoop、spark软件,及软件日志,datanode ID信息等等),因为他们的storageID是一样的,datanode启动时会向Master发送BPID,可以在log中查看到这些信息

    2015-05-26 10:23:47,485 INFO org.apache.hadoop.hdfs.server.datanode.BlockPoolSliceScanner: Periodic Block Verification Scanner initialized with interval 504 hours for block pool BP-1121039461-192.168.255.131-1431764031745

    2015-05-26 10:23:47,491 INFO org.apache.hadoop.hdfs.server.datanode.DataBlockScanner: Added bpid=BP-1121039461-192.168.255.131-1431764031745 to blockPoolScannerMap, new size=1

    先关闭hadoop服务,然后

    删除Slave3的如下目录文件

    /app/hadoop/logs/*

    /app/hadoop/hdfs/data/*

    删除完后,再次启动,问题解决

  • 相关阅读:
    multiprocessing总结
    CPython在CPU密集型应用下的并发
    多线程交互
    线程等待与守护线程
    Python多线程(1)
    一个简单的单线程异步服务器
    多线程与多进程的实现
    socket的功能分割到不同函数
    数据处理项目Postmortem
    M2 终审
  • 原文地址:https://www.cnblogs.com/OS-BigData/p/8527824.html
Copyright © 2011-2022 走看看