zoukankan      html  css  js  c++  java
  • hadoop集群添加新节点

    hadoop集群支持动态扩展,不需要停止原有集群节点就可以实现新节点的加入。

    我是使用docker搭建的进群环境,制作了镜像文件,这里以我的工作基础为例子介绍集群中添加集群的方法

    一、制作一个新节点

    1、为新节点搭建hadoop环境

    如果是一般情况下,将一个新物理机添加到集群中,参照集群中其他节点,在新机器上安装与集群中其他节点相同版本的jdk、hadoop等必要程序,安装路径最好一致,这样比较容易管理。这里我使用docker搭建的环境,所以只需要启动一个容器即可。

    2、修改新节点主机名映射

    vi /etc/hosts

    在其中添加集群中各个节点的节点名与ip的映射关系

    3、关闭新节点防火墙

    service iptables stop

    4、配置免密登陆,使得master可以免密登陆到新节点

    二、修改集群中全部节点配置文件

    1、为集群中全部节点配置slaves

    修改 ${HADOOP_HOME}/etc/slaves 文件,进入hadoop安装目录,在文件中添加新节点主机名

    vi etc/hadoop/slaves
    
    添加内容:
    hadoop3

    2、复制集群中slave节点的配置文件到新节点的配置文件中,使用scp即可

    scp -r /hadoop安装目录/etc hadoop3:/hadoop安装目录(如/usr/local/hadoop/)

    三、单独启动新节点

    在新节点上执行单个启动命令

  • 相关阅读:
    周学习笔记(04)——大三下
    进度(3)
    进度(2)
    进度(1)
    周学习笔记(03)——大三下
    《信息领域热词分析》之在代码层实现可用性战术
    周学习笔记(02)——大三下
    cf1041E
    cf1067b
    cf1131D
  • 原文地址:https://www.cnblogs.com/Jing-Wang/p/10772862.html
Copyright © 2011-2022 走看看