zoukankan      html  css  js  c++  java
  • hadoop2.8.0重启datanode和动态加入datanode

    一、对于重启datanode.

      适用于子节点单独挂掉然后重启的情况,或者增加子节点的情况。 设置好相应的配置后:

    sbin/hadoop-daemon.sh start datanode 
    sbin/yarn-daemon.sh start nodemanager 

    即可。 执行jps应该可以看到类似:

    6847 DataNode 
    7574 NodeManager 
    7780 Jps 

     二、动态加入datanode节点

    参考:http://www.cnblogs.com/ggzone/p/5094497.html

    我的步骤:

    1.从其中的一个slave节点克隆了一个节点(使用VM虚拟机)

    2.克隆之后运行克隆之后的datanode节点,修改hostname,IP

    3.修改各个机器的/etc/hosts文件  加入需要增加的IP和hostname

    4.设置ssh登录,由于我是克隆的,故无需设置其它机器登录到本机,只需设置本机免密码登录到其它机器即可,参考ssh设置http://www.cnblogs.com/kxxx/p/7050159.html

    5.修改主节点的slave文件,添加新增节点的ip信息(集群重启时使用)

    6.在datanode节点运行sbin/hadoop-daemon.sh start datanode。启动datanode

    7.在datanode节点运行sbin/yarn-daemon.sh start nodemanager。启动nodemanager

    8.这是就可以在namenode节点查看datanode节点是否运行    bin/hdfs dfsadmin -report查看集群情况

    最后还需要对hdfs负载设置均衡,因为默认的数据传输带宽比较低,可以设置为64M,即hdfs dfsadmin -setBalancerBandWidth 67108864即可

    •默认balancer的threshold为10%,即各个节点与集群总的存储使用率相差不超过10%,我们可将其设置为5%

    •然后启动Balancer,sbin/start-balancer.sh -threshold 5,等待集群自均衡完成即可

  • 相关阅读:
    Keyboarding题解
    埃及分数 解题报告
    小木棍加强版解题报告
    扩展欧几里得
    luoguP4999 烦人的数学作业
    中国剩余定理
    20201115gryz模拟赛解题报告
    扩展欧几里得算法
    斐蜀定理
    CSP2020-S游记
  • 原文地址:https://www.cnblogs.com/kxxx/p/7088637.html
Copyright © 2011-2022 走看看