zoukankan      html  css  js  c++  java
  • Hadoop-HBASE 热添加新节点

    Hadoop-HBASE 热添加新节点

    环境:
    192.168.137.101 hd1
    192.168.137.102 hd2
    192.168.137.103 hd3
    192.168.137.104 hd4
    四节点hadoop和hbase

    1、设置hostname
    vi /etc/sysconfig/network
    hostname hd5
    设置完毕后需要退出重新登录下方可生效
    查看防火墙状态:service iptables status
    停用防火墙:service iptables stop

    2、hd5中修改/etc/hosts
    加入        192.168.137.105 hd5

    3、分发其到所有hd1, hd2, hd3, hd4
    scp /etc/hosts hd1:/etc
    scp /etc/hosts hd2:/etc
    scp /etc/hosts hd3:/etc
    scp /etc/hosts hd4:/etc

    4、在hd5节点删除原来的.ssh中的共钥私钥文件,重新生成
    cd ~/.ssh
    rm id_rsa
    rm id_rsa.pub
    ssh-keygen -t rsa

    5、将原先hd1节点中的authorized_keys文件拷贝到hd5,再加入新共钥
    cat ~/.ssh/id_rsa.pub >> authorized_keys

    6、分发改文件到其它各节点
    scp ~/.ssh/authorized_keys hd1:/home/hadoop/.ssh
    scp ~/.ssh/authorized_keys hd2:/home/hadoop/.ssh
    scp ~/.ssh/authorized_keys hd3:/home/hadoop/.ssh
    scp ~/.ssh/authorized_keys hd4:/home/hadoop/.ssh

    7、前往各个节点进行第一次到hd5的ssh登录(hd5本地的也做一次回环ssh登录比较好)
    在hd1, ssh hd5 date
    在hd2, ssh hd5 date
    在hd3, ssh hd5 date
    在hd4, ssh hd5 date
    在hd5, ssh hd5 date

    8、将某节点上的hadoop和hbase安装文件拷贝到新节点上,然后修改配置文件
    在hd5修改hadoop的slave文件
    vim /home/hadoop/hadoop/etc/hadoop/slaves
    加入hd5
    分发其到其它节点
    scp /home/hadoop/hadoop/etc/hadoop/slaves hd1:/home/hadoop/etc/hadoop
    scp /home/hadoop/hadoop/etc/hadoop/slaves hd2:/home/hadoop/etc/hadoop
    scp /home/hadoop/hadoop/etc/hadoop/slaves hd3:/home/hadoop/etc/hadoop
    scp /home/hadoop/hadoop/etc/hadoop/slaves hd4:/home/hadoop/etc/hadoop

    9、在hd5启动datanode
    ./hadoop-daemon.sh start datanode

    10、在hd5启动start-balancer.sh均衡当前hdfs块
    start-balancer.sh

    11、如果还有hbase在上面运行则需要部署hbase的hserver
    修改
    vim /home/hadoop/hbase/conf/regionservers
    加入hd5 并复制regionservers文件到hd1,hd2,hd3,hd4
    scp regionservers hd1:/home/hadoop/hbase/conf
    scp regionservers hd2:/home/hadoop/hbase/conf
    scp regionservers hd3:/home/hadoop/hbase/conf
    scp regionservers hd4:/home/hadoop/hbase/conf

    13、在hd5启动hbase regionserver
    hbase-daemon.sh start regionserver

    14、在hd1和hd5启动hbase shell
    用status命令确认一下集群情况

  • 相关阅读:
    使用Ambari快速部署Hadoop大数据环境
    Hadoop,HBase,Storm,Spark到底是什么?
    Google服务器架构图解简析
    百度的Hadoop分布式大数据系统图解:4000节点集群
    为Hadoop集群选择合适的硬件配置
    Hadoop组件Hive配置文件配置项详解
    腾讯TDW:大型Hadoop集群应用
    Hadoop组件Hbase配置项详解
    主流大数据采集平台的架构图解
    大数据架构师技能图谱
  • 原文地址:https://www.cnblogs.com/hyh123/p/8507391.html
Copyright © 2011-2022 走看看