zoukankan      html  css  js  c++  java
  • hadoop 集群 加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令

    加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令

    方式1:静态添加datanode,停止namenode方式

    1.停止namenode
    2.修改slaves文件,并更新到各个节点
    3.启动namenode
    4.执行hadoop balance命令。(此项为balance集群使用,如果只是添加节点,则此步骤不需要)

    -----------------------------------------

    方式2:动态添加datanode,不停namenode方式

    1.修改slaves文件,添加需要增加的节点host或者ip,并将其更新到各个节点
    2.在datanode中启动执行启动datanode命令。命令:sh hadoop-daemon.sh start datanode
    3.可以通过web界面查看节点添加情况。或使用命令:sh hadoop dfsadmin -report
    4.执行hadoop balance命令。(此项为balance集群使用,如果只是添加节点,则此步骤不需要)

    ------------------------

    针对第4点,start-balancer.sh可以执行-threshold参数。
    -threshold参数是指定平衡的阈值。
    -threshold的默认是10,即每个datanode节点的实际hdfs存储使用量/集群hdfs存储量

    举例:
    datanode hdfs使用量1.2G;
    集群总hdfs存储量10T即10000G;
    则t值为1.2/10000 = 0.00012;
    当执行balance的-t参数小于0.00012时,集群进行balance;
    命令为:start-balancer.sh -threshold 0.0001

    注:
    1. balance命令可以在namenode或者datanode上启动;
    可以随时停止balance命令。
    balance的默认带宽是1M/s。
    2. slave文件是用于重启时使用。集群的start和stop需要读取slave文件。
    启用datanode时只要在hdfs-site中配置了namenode位置,就可以将信息push给namenode。
    查看namenode的http管理界面,可查看节点添加情况。
    ---------------------------------------------------------------

    ************************************************************************************
    HDFS删除节点

    方式1:通过dead方式(namenode上):

    1. sh hadoop dfsadmin  -refreshServiceAcl

    说明:dead方式并未修改slave文件和hdfs-site文件。
    所以在集群重启时,该节点不会被添加到namenode的管理中。
    此次在namenode上进行,其他节点可另行实验。,该命令会将该节点状态置为dead。
    ----------------------------------------------------------------

    方式2:通过decommission方式:

    a) 修改hdfs-site,添加exclude字段中的排除的节点。
    b) 执行sh hadoop dfsadmin -refreshNodes,强制刷新。
    c) 查看节点状态,该节点的状态为decommission。

    说明:decommission方式修改了hdfs-site文件,未修改slave文件。
    所以集群重启时,该节点虽然会被启动为datanode,但是由于添加了exclude,所以namenode会将该节点置为decommission。
    此时namenode不会与该节点进行hdfs相关通信。也即exclude起到了一个防火墙的作用。

    注:
    1. 如果在某个节点单独停止datanode,那么在namenode的统计中仍会出现该节点的datanode信息。
    此时可通过dead或者decommission(退役)方式下线机器。

  • 相关阅读:
    tab点击切换
    下拉收起
    倒计时
    边框三角形
    jQuery Easing 使用方法及其图解
    网址收藏
    Java遍历Map对象的四种方式
    idea初使用之自动编译
    Mysql 存储引擎中InnoDB与Myisam的主要区别
    spring-boot-devtools在Idea中热部署方法
  • 原文地址:https://www.cnblogs.com/chaoren399/p/4777098.html
Copyright © 2011-2022 走看看