zoukankan      html  css  js  c++  java
  • hadoop2.7.2基于centos全然分布式安装

    作为linux和hadoop小白,初次安装hadoop真是心累。用了两天时间才成功安装。以下就介绍下Hadoop安装:

    一、机器配置和安装说明

       一台笔记本、  vmware  、I7处理器 。centos—7系统。

    hadoop使用2.7.2


    二、利用vmware 安装 三个节点

    (此处能够先建立一个centos虚拟机,由于后面须要安装jdk。hadoop。还要配置环境变量,能够利用虚拟机克隆的方法得到另外两个节点。省去了非常多时间和麻烦。当然之后还要改动不同节点的hostname  。

    建议此种方案!)


         1、首先是安装jdk了。

    此处不多说,网上非常多,我用的是jdk-1.8.0_77


        2、依照hadoop集群的基本要求,当中一个是master结点。主要是用于执行hadoop程序中的namenode、secondorynamenode和ResourceManager任务。另外两个结点均为slave结点。当中一个是用于冗余目的,假设没有冗余,就不能称之为hadoop了。所以模拟hadoop集群至少要有3个结点。假设电脑配置很高。能够考虑添加一些其他的结点。slave结点主要将执行hadoop程序中的datanode和nodeManager任务。


    所以,在准备好这3个结点之后,须要分别将linux系统的主机名重命名(由于前面是复制和粘帖操作产生另两上结点,此时这3个结点的主机名是一样的),重命名主机名的方法:


           命令:vi /etc/hostname(全然改动)

    通过改动hostname文件就可以,这三个点结均要改动。以示区分。


    下面是我对三个结点的ubuntu系统主机分别命名为:master, node1, node2.

    三、每台linux虚拟机配置静态IP

       命令: cd /etc/sysconfig/network-scripts/

                      vi  ifcfg-eth1

      将DHCP改动成static,添加IP地址。MAC地址,子网掩码、网关等。网上centos7非常多.

    四、改动hosts文件。


           命令:vi   /etc/hosts

            master        ip地址(192.***.***.***)

            node1         ip地址()

            node2        ip地址()

    五、建立hadoop 执行账号(此步骤在建立linux系统时 非常多人应该做了)

           sudo groupadd hadoop    //设置hadoop用户组

           sudo useradd –s /bin/bash –d /home/hadoop –m hadoop –g hadoop –G admin   //加入一个zhm用户,此用户属于hadoop用户组。且具有admin权限。


           sudo passwd hadoop   //设置用户zhm登录password

           su hadoop   //切换到zhm用户中

    六、配置ssh免password接入。


            无password登陆。效果也就是在master上,通过 ssh node1或 ssh node2 就能够登陆到对方计算机上。并且不用输入password。
    1.三台虚拟机上,使用 ssh-keygen -t rsa,一路按回车即可了。

    这部主要是设置ssh的密钥和密钥的存放路径。 路径为~/.ssh下。打开~/.ssh 以下有三个文件:authorizedkeys(已认证的keys),idrsa(私钥),id_rsa.pub(公钥)



    2.在master上将公钥放到authorizedkeys里。命令:sudo cat idrsa.pub>>authorized_keys


    3.将master上的authorized_keys放到node1和node2的~/.ssh文件夹下。

    命令:sudo scp authorized_keys xue@192.168.209.130:~/.ssh

    使用方法:sudo scp authorized_keys 远程主机username@远程主机名或ip:存放路径。


    4.改动authorizedkeys权限。命令:chmod 644 authorizedkeys



    5.測试是否成功

    ssh node1 输入usernamepassword。然后退出,再次ssh node1不用password。直接进入系统。

    这就表示成功了。



    6.exit退出回到原节点。                                                          



    七、下载并解压hadoop安装包

          hadoop安装包放在了/home/hadoop以下

          命令:tar –zxvf hadoop-2.7.2.tar.gz #解压hadoop安装包

          成功安装后配置路径:跟jdk相似。

          命令:vi /etc/profile
    八、配置namenode  改动site文件

        1、改动core-site.xml文件
            命令:cd /home/hadoop/hadoop-2.7.2/etc/hadoop
            ls 能够看到有core-site.xml   hdfs-site.xml    yarn-site.xml
            命令:vi core-site.xml
       2、改动hdfs-site.xml文件
             命令:vi hdfs-site.xml
          
       3、改动yarn-site.xml文件
          
       4、改动mapred-site.xml.template
            
      5、改动hadoop-env.sh 文件
          命令:source hadoop-env.sh    让其生效

    九、配置slaves文件
         命令:cd /home/hadoop/hadoop-2.7.2/etc/hadoop 
            ls 查看slaves文件
         vi slaves
         如图:
                   
    十、向各节点复制hadoop  因为自己是逐一配置。因此不须要此步骤。假设是仅仅配置了一个  能够使用scp命令 向其它两个节点复制hadoop配置的文件和环境
    十一、格式化namenode,仅仅格式一次

           命令:hadoop namenode -format

            假设出现了successfully format  则成功!!

    十二、启动hadoop

          切到/home/hadoop/hadoop-2.7.2/sbin文件夹下,命令:./start-all.sh

                                            

        在node1和node2节点处查看启动的守护进程:jps

       

    至此。大功告成!。









  • 相关阅读:
    [SQL Server] 数据库日志文件自动增长导致连接超时的分析
    Visual Studio 2003/Visual Studio 2005常用快捷键(快捷方式)
    設置RichTextBox控件中選中的部分的文字突顯
    電功率單位
    一名25岁的董事长给大学生的18条忠告
    計算機端口
    學習使用Directionary與Hastable
    VS .NET如何切換環境
    VS .NET(C#)如何動態創建控件
    VS .NET(C#)測試程序記錄時間方法
  • 原文地址:https://www.cnblogs.com/wgwyanfs/p/7160834.html
Copyright © 2011-2022 走看看