zoukankan      html  css  js  c++  java
  • Hadoop-HBASE 热添加新节点

    Hadoop-HBASE 热添加新节点

    环境:
    192.168.137.101 hd1
    192.168.137.102 hd2
    192.168.137.103 hd3
    192.168.137.104 hd4
    四节点hadoop和hbase

    1、设置hostname
    vi /etc/sysconfig/network
    hostname hd5
    设置完毕后需要退出重新登录下方可生效
    查看防火墙状态:service iptables status
    停用防火墙:service iptables stop

    2、hd5中修改/etc/hosts
    加入        192.168.137.105 hd5

    3、分发其到所有hd1, hd2, hd3, hd4
    scp /etc/hosts hd1:/etc
    scp /etc/hosts hd2:/etc
    scp /etc/hosts hd3:/etc
    scp /etc/hosts hd4:/etc

    4、在hd5节点删除原来的.ssh中的共钥私钥文件,重新生成
    cd ~/.ssh
    rm id_rsa
    rm id_rsa.pub
    ssh-keygen -t rsa

    5、将原先hd1节点中的authorized_keys文件拷贝到hd5,再加入新共钥
    cat ~/.ssh/id_rsa.pub >> authorized_keys

    6、分发改文件到其它各节点
    scp ~/.ssh/authorized_keys hd1:/home/hadoop/.ssh
    scp ~/.ssh/authorized_keys hd2:/home/hadoop/.ssh
    scp ~/.ssh/authorized_keys hd3:/home/hadoop/.ssh
    scp ~/.ssh/authorized_keys hd4:/home/hadoop/.ssh

    7、前往各个节点进行第一次到hd5的ssh登录(hd5本地的也做一次回环ssh登录比较好)
    在hd1, ssh hd5 date
    在hd2, ssh hd5 date
    在hd3, ssh hd5 date
    在hd4, ssh hd5 date
    在hd5, ssh hd5 date

    8、将某节点上的hadoop和hbase安装文件拷贝到新节点上,然后修改配置文件
    在hd5修改hadoop的slave文件
    vim /home/hadoop/hadoop/etc/hadoop/slaves
    加入hd5
    分发其到其它节点
    scp /home/hadoop/hadoop/etc/hadoop/slaves hd1:/home/hadoop/etc/hadoop
    scp /home/hadoop/hadoop/etc/hadoop/slaves hd2:/home/hadoop/etc/hadoop
    scp /home/hadoop/hadoop/etc/hadoop/slaves hd3:/home/hadoop/etc/hadoop
    scp /home/hadoop/hadoop/etc/hadoop/slaves hd4:/home/hadoop/etc/hadoop

    9、在hd5启动datanode
    ./hadoop-daemon.sh start datanode

    10、在hd5启动start-balancer.sh均衡当前hdfs块
    start-balancer.sh

    11、如果还有hbase在上面运行则需要部署hbase的hserver
    修改
    vim /home/hadoop/hbase/conf/regionservers
    加入hd5 并复制regionservers文件到hd1,hd2,hd3,hd4
    scp regionservers hd1:/home/hadoop/hbase/conf
    scp regionservers hd2:/home/hadoop/hbase/conf
    scp regionservers hd3:/home/hadoop/hbase/conf
    scp regionservers hd4:/home/hadoop/hbase/conf

    13、在hd5启动hbase regionserver
    hbase-daemon.sh start regionserver

    14、在hd1和hd5启动hbase shell
    用status命令确认一下集群情况

  • 相关阅读:
    纳尼?不用码代码,就可回归主流程,一只海豚就可以做到
    教育产品-组件化视觉设计实践
    从整理看视觉设计(网易云课堂我的学习中心-微专业视觉优化)
    搜索意图识别浅析
    如何配置使用Dnsmasq
    如何实现最佳的跨平台游戏体验?Unity成亮解密实时渲染技术!
    PAT 1024. Palindromic Number
    PAT 1023. Have Fun with Numbers
    PAT 1022. Digital Library
    PAT 1021. Deepest Root
  • 原文地址:https://www.cnblogs.com/hyh123/p/8507391.html
Copyright © 2011-2022 走看看