zoukankan      html  css  js  c++  java
  • Hadoop概念学习系列之Hadoop集群动态增加新节点或删除已有某节点及复制策略导向 (四十三)

      不多说,直接上干货!

    hadoop-2.6.0动态添加新节点

     https://blog.csdn.net/baidu_25820069/article/details/52225216

    Hadoop集群动态增加新节点

      一、在新增节点配置运行环境
        1、安装和其他节点相同的java环境,jdk版本要相同。
        2、修改/etc/hosts配置文件,添加ip与hostname的对应关系并分发到集群各个节点。
        3、关闭防火墙、相关软件工具的安装等。
        4、配置ssh免密码登录,使新增节点和集群其他节点能实现免密码登录。
        5、修改slaves文件并分发到集群各个节点。

      二、在新增节点上部署Hadoop
        把集群的Hadoop安装包copy到新增节点,安装目录最好一致,便于管理
      三、单独启动新增节点
        无需关闭集群再重启
      四、验证是否启动成功
        (1)通过WEB界面查看Live Node
        (2)通过命令查看: bin/hadoop dfsadmin -report 

      五、集群负载均衡
        运行start-balancer.sh进行数据负载均衡。(如果不进行balance,新数据一般会被插入到新节点中)

    Hadoop集群动态删除某节点

      注意提前做好删除节点数据的备份

    推荐

    http://www.aboutyun.com/thread-7532-1-1.html(运行Hadoop的集群如何动态增加与删除节点)(推荐)

    Hadoop2.7实战v1.0之动态添加、删除DataNode节点及复制策略导向 (推荐)

  • 相关阅读:
    Linux操作系统学习之第三篇
    Linux操作系统学习之第二篇
    简介VMware workstaion
    Linux操作系统学习之起始篇
    c# 与java对应的 aes加密(带向量的)
    string转DateTime
    webapi项目创建
    c# mqtt 服务端、客户端简易例子
    vs快捷键
    c# 用byte数组生成图片
  • 原文地址:https://www.cnblogs.com/zlslch/p/7509490.html
Copyright © 2011-2022 走看看