zoukankan      html  css  js  c++  java
  • yarn卸载或增加节点

    yarn卸载或增加节点

     

    卸载节点或者增加节点: 
    方式一:静态的增添删除:将集群关闭,修改配置文件(etc/hadoop/slaves),重新启动集群(很黄很暴力,不够人性化)。 
    方式二:动态的增加和卸载节点。

    卸载DataNode节点: 
    1)要在HDFS主节点NameNode上,进行配置。 
    a)在etc/hadoop/hdfs-site.xml中,设置属性值: 

    dfs.hosts.exclude 
    /opt/modules/hadoop-2.5.0/ect/hadoop/dfs-hosts.exclude 

    b)创建文件并在文件中加入卸载节点的IP地址或者主机名。 
    2)在NameNode节点上刷新集群 
    bin/hdfs dfsadmin -refreshNodes 
    3)从页面查看卸载相关信息(过程)。 
    4)通过命令来查看结果。 
    bin/hdfs dfsadmin -report 
    5)在卸载机器上关闭DataNode进程 
    sbin/hadoop-daemon.sh stop datanode 
    6)将dfs-hosts.exclude文件内容清空

    注意: 
    在卸载NodeManager时,一定要主要配置在ResourceManager上。 

    yarn.resourcemanager.nodes.exclude-path 
    /opt/modules/hadoop-2.5.0/etc/hadoop/yarn-hosts.exclude 

    增加新机器,DataNode(存储数据)和NodeManager(计算) 
    1)系统、主机名、IP地址、防火墙、SELinux等与集群的从节点基本配置保持一致。 
    2)安装JDK(版本、路径、环境变量保持一致)。 
    3)配置主节点(HDFS:NameNode;YARN:ResourceManager)所在机器到新机器的SSH无密钥登录(方便集群的启动)。 
    4)配置修改etc/hadoop/slaves文件(只需要在主节点上修改)。 
    5)分发hadoop安装包(配置完成)到新机器上。 
    6)创建HDFS、YARN在新机器的本地磁盘上一些文件夹。 
    7)在新机器上启动DataNode和NodeManager节点。 
    DataNode:sbin/hadoop.daemon.sh start datanode 
    NodeManager:sbin/yarn.daemon.sh start nodemanager 
    注意: 
    需要将新机器的IP地址与主机名称的映射关系配置到系统的【/etc/hosts】文件中,最好是所有集群中的机器都要添加。

  • 相关阅读:
    python第一个项目:爬取一个网站的所有图片
    python学习笔记(3)
    python学习笔记(3)
    python学习笔记(2)
    python学习笔记(2)
    机器学习入门(1)
    centos7安装google-chrome
    linux 系统监控命令之 top-(转自 Howie的专栏)
    linux 磁盘管理命令之df-(转自 Howie的专栏)
    sizeof()用法汇总-(转自风雷)
  • 原文地址:https://www.cnblogs.com/suanec/p/7700063.html
Copyright © 2011-2022 走看看