zoukankan      html  css  js  c++  java
  • hadoop完全分布式安装教程

    环境说明

      集群中有三个节点:一个Master,两个Slave。

      节点的IP地址分别为:

                Master:192.168.140.132

                Slave1:192.168.140.133

                Slave2:192.168.140.134

      可以通过ifconfig查看自己虚拟机的IP地址。

    网络配置

      修改自己各个节点的主机名

        vi /etc/sysconfig/network

        

      修改节点的IP映射

         vi /etc/hosts

        

      重启虚拟机

        sudo reboot

      以上操作同时要在另外两个节点上配置

    配置SSH免密登录

      cd ~/.ssh

      #删除之前的公钥

      rm ./id_rsa*

      #生成公钥,然后一直按回车

      ssh-keygen -t rsa

      cat ./id_rsa.pub >> ./authorized_keys

      #修改权限

      chmod 600 authorized_keys

       #验证

      ssh Master

      

       #将Master节点上公钥传输到另外两个节点上

      scp ~/.ssh/id_rsa.pub stu@Slave1:/home/hadoop/

      scp ~/.ssh/id_rsa.pub stu@Slave1:/home/hadoop/

      #在Slave1、Slave2上将上述公钥加入授权

      cat ~/id_rsa.pub >> ~/.ssh/authorized_keys

      cd ~/.ssh/

      chmod 600 authorized_keys

    安装JDK,配置环境变量

      分别在Master、Slave1、Slave2上安装JDK环境

        cd /usr/local

        tar -zxvf JDK-(看你虚拟机是32位的还是64位的,下载对应的安装包)

      配置JAVA_HOME环境变量

        vi ~/.bashrc

        #在最后一行添加

        export JAVA_HOME=(你JDK的安装位置)

        export PATH=$JAVA_HOME/bin:$PATH:

        #使环境变量配置生效

        source ~/.bashrc

      验证

        java -version

        

     安装配置hadoop

      在Master节点上

       #进入到你压缩包的位置,并解压

       cd /usr/local

       tar -zxvf  hadoop-2.7.2.tar.gz

       #将文件夹名修改位hadoop

       mv hadoop-2.7.2 hadoop

       #修改文件权限

       chmon -R stu:stu hadoop

       #修改环境变量

       vi ~/.bashrc

       #添加以下内容

       

       #使配置生效

       source ~/.bashrc

     修改五个配置文件

      /usr/local/hadoop/etc/hadoop/slaves

      

      /usr/local/hadoop/etc/hadoop/core-site.xml添加

      

       /usr/local/hadoop/etc/hadoop/hdfs-site.xml添加

      

        /usr/local/hadoop/etc/hadoop/mapred-site.xml添加

      

        /usr/local/hadoop/etc/hadoop/yarn-site.xml添加

      

       完成后分别将hadoop文件夹和bashrc文件发送到Slave1、Slave2节点上

        sudo scp -r /usr/local/hadoop Slave1:/usr/local/

        sudo scp -r /usr/local/hadoop Slave2:/usr/local/

        scp /home/hadoop/.bashrc stu@Slave1:/home/hadoop/

        scp /home/hadoop/.bashrc stu@Slave2:/home/hadoop/

      接着进入Slave1、Slave2进行下面的操作

        

       最后在Master节点上进行格式化

      hdfs namenode -format

      

     启动集群

      在Master节点上start-all.sh

      在Master、Slave1、Slave2上输入jps检查

      

       

      

       进入Master:50070查看

      

     到此,hadoop完全分布式搭建成功。

      

         

  • 相关阅读:
    JAVA调优总结:JVM垃圾回收面临的问题解决方案
    用什么紧固件来固定一下我的程序人生呢
    Java设计模式动态代理研究分享
    深入理解Asp.net核心对象
    JAVA编程之动态更新JVM中的class文件
    探索J2ME应用:如何用GCF通信
    MySQL数据库备份的命令应用分享
    送给快要放弃的程序员同行们!
    减速机要像人一样智能减速就厉害了
    如何在Linux系统下进行C++程序开发
  • 原文地址:https://www.cnblogs.com/xiaoxiangzhumm/p/13782062.html
Copyright © 2011-2022 走看看