zoukankan      html  css  js  c++  java
  • Hadoop完全云计算平台搭建

    一.以之前搭建的为云计算平台为主节点

    角色分配

    Master:NameNode/DataNode ResourceManager/NodeManager

    Slave1:DataNode NodeManager

    Slave2:DataNode NodeManager

    1. 修改hostname

    2. 修改hosts,添加每个节点的ip地址以及对应的hostname

    3. ping测试

    二. ssh免密码登录

    [root@localhost .ssh]# ssh-keygen -t rsa
    ##生成公钥
    [root@localhost .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub master 
    #分发公钥给master  slave1  slave2
    [root@localhost .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub slave1
    [root@localhost .ssh]# ssh-copy-id -i ~/.ssh/id_rsa.pub slave2
    

     

    分发

     免密登录测试

    ssh slave1
    

     

     如果其他两台主机需要免密登录需要重复以上步骤,生成公钥然后分发给其他两台主机,实现免密码登录

    三. 解压jdkhadoop(以下操作均是在master节点操作,详细参考伪云计算平台搭建)

    [root@localhost opt]# tar xvf hadoop-2.7.2.tar.gz
    [root@localhost opt]# tar xvf jdk-8u172-linux-x64.tar.gz
    [root@localhost opt]# mkdir Hadoop
    [root@localhost opt]# mkdir Java
    [root@localhost opt]# mv jdk1.8.0_172/ Java/
    [root@localhost opt]# mv hadoop-2.7.2 Hadoop/
    

     配置环境变量

    vi  ~/.bashrc
    

     添加

    export JAVA_HOME=/opt/Java/jdk1.8.0_172
    export PATH=$PATH:$JAVA_HOME/bin
    export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin
    

     

    [root@localhost opt]# source  ~/.bashrc
    #使得配置生效
    

     2.修改配置

    [root@localhost hadoop]# cd /opt/Hadoop/hadoop-2.7.2/etc/hadoop
    

     添加变量

    [root@localhost hadoop]# vi hadoop-env.sh
    添加这一条
    export JAVA_HOME=/opt/Java/jdk1.8.0_172
    

    修改配置

     [root@master hadoop]# vi slaves
    

     添加内容为

    master
    slave1
    slave2
    

     3.分发安装包到slave1和slave2节点

    [root@master ~]# scp ~/.bashrc root@slave1:~/
    [root@master ~]# scp ~/.bashrc root@slave2:~/
    [root@master ~]# scp -r /opt root@slave1:/
    [root@master ~]# scp -r /opt root@slave2:/
    

    分发需要一段时间,耐心等待就好

     使得配置生效(slave1和slave2节点)

    [root@localhost hadoop]# source  ~/.bashrc
    [root@localhost hadoop]# echo  $JAVA_HOME
    /opt/Java/jdk1.8.0_172
    

     格式化

    对slave1和slave2节点格式化

    [root@localhost hadoop]# cd  /opt/Hadoop/hadoop-2.7.2/bin
    [root@localhost bin]# ./hadoop  namenode  -format
    

     

    slave1节点

    启动服务,在master中启动

    [root@master hadoop]# cd  /opt/Hadoop/hadoop-2.7.2/sbin
    [root@master sbin]#./start-all.sh
    

     

     至此,完全云计算平台搭建完成

     浏览器访问

    http://192.168.2.100:50070/

    就可以看到Hadoop

  • 相关阅读:
    【今日CV 视觉论文速览】 19 Nov 2018
    【numpy求和】numpy.sum()求和
    【今日CV 视觉论文速览】16 Nov 2018
    【今日CV 视觉论文速览】15 Nov 2018
    poj 2454 Jersey Politics 随机化
    poj 3318 Matrix Multiplication 随机化算法
    hdu 3400 Line belt 三分法
    poj 3301 Texas Trip 三分法
    poj 2976 Dropping tests 0/1分数规划
    poj 3440 Coin Toss 概率问题
  • 原文地址:https://www.cnblogs.com/mke2fs/p/12401234.html
Copyright © 2011-2022 走看看