zoukankan      html  css  js  c++  java
  • hadoop(HDFS、Yarn节点管理)

    一、HDFS节点

      (一) 添加节点  

        (1)设置ssh免密登录

        (2)修改所有的节点的/etc/hosts

        (3)安装java环境

        (4)修改NameNode的Slave文件增加该节点

        (5)拷贝NameNode节点Hadoop下的文件到新增节点下

        (6)启动该节点DateNode

          ./sbin/hadoop-daemin.sh start datenode

        (7)数据恢复(在执行上面的命令之后新增加的设备是没有数据的进行数据恢复)

        

       (二)删除节点

        再删除节点的时候 必须要把数据迁移到其他机器上 

        在删除前 先配置 Hadoop的核心文件

        

         加上上面的参数,清除主机 路径下的exclude文件是不存在的创建这个文件 并且把需要删除的主机名称写入,一行一个主机名

        查看状态

        

        这个是正常的状态

             

        删除之前 刷新数据节点

        

         执行之后在后台会有数据迁移

         这个状态是 数据正在进行迁移

        

        迁移之后的状态

         

        删除节点

        直接关机 或者把服务关闭

    二、Yran节点

      (一)增加/删除节点

        只需要把原来节点下Hadoop的配置文件 复制到新增节点 启动就可以了(1.ssh 2.hosts 3.jdk 都需要配置)

        增加

        ./sbin/yarn-daemon.sh start nodemanager

        删除   

        ./sbin/yarn-daemon.sh stop nodemanager  

        查看节点

        ./bin/yarn node -list  

        

  • 相关阅读:
    一个较为健壮的下单方案
    [缓存]数据库事务环境下表级缓存的更新问题
    “Java是编译执行的语言”这句话对吗?
    分布式服务的幂等性设计
    [ java 工具类] xml字符串解析成Map(DOM解析)
    抽奖系统的流量削峰方案
    从一次线上故障思考Java问题定位思路
    关于JVM内存的N个问题
    Java多线程编程—锁优化
    Java锁机制(一)synchronized
  • 原文地址:https://www.cnblogs.com/zshBlos/p/13680504.html
Copyright © 2011-2022 走看看