zoukankan      html  css  js  c++  java
  • ubuntu下hadoop安装与配置

    安装前的建议:

        将 vm 虚拟机连上网络后,在 secureRCT 中连接ubuntu,然后进行编写。 secureCRT 可以直接复制代码,如果在ubuntu桌面就必须纯手打代码,无法将外部浏览器的内容复制进去。
        利用 secureRCT 可以进行 windows 与 linux 文件传输,比如在 windows 系统安装了 jdk1.8 要上传到 linux 系统,则需要用到 secureRCT.


    一、创建hadoop用户

    $ sudo useradd -m hadoop -s /bin/bash  #创建hadoop用户,并使用/bin/bash作为shell
    $ sudo passwd hadoop                   #为hadoop用户设置密码,之后需要连续输入两次密码
    $ sudo adduser hadoop sudo             #为hadoop用户增加管理员权限
    $ su - hadoop                          #切换当前用户为用户hadoop
    $ sudo apt-get update                  #更新hadoop用户的apt,方便后面的安装

     

    二、安装SSH,设置SSH无密码登陆

    $ sudo apt-get install openssh-server   #安装SSH server
    $ ssh localhost                         #登陆SSH,第一次登陆输入yes
    $ exit                                  #退出登录的ssh localhost
    $ cd ~/.ssh/                            #如果没法进入该目录,执行一次ssh localhost
    $ ssh-keygen -t rsa  


    输入完 $ ssh-keygen -t rsa 语句以后,需要连续敲击三次回车,如下图

     

    其中,第一次回车是让KEY存于默认位置,以方便后续的命令输入。第二次和第三次是确定passphrase,相关性不大。

    两次回车输入完毕以后,如果出现类似于下图所示的输出,即成功:

     

     然后继续输入:

    $ cat ./id_rsa.pub >> ./authorized_keys #加入授权
    $ ssh localhost                         #此时已不需密码即可登录localhost,并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案

      

     
    在此之前先将jdk安装好


    三、安装hadoop-2.6.0

    $ sudo tar -zxvf  hadoop-2.6.0.tar.gz -C /usr/local    #解压到/usr/local目录下
    $ cd /usr/local
    $ sudo mv  hadoop-2.6.0    hadoop                      #重命名为hadoop
    $ sudo chown -R hadoop ./hadoop 

    安装好后,在hadoop用户下给hadoop配置环境变量,若用户不是hadoop则输入 su - hadoop切换用户
    切换完成后输入 vi /etc/profile(权限要求root)
    在文件底部添加

    export HADOOP_HOME=/usr/local/hadoop
    
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    :wq 保存文件后执行source /etc/profile使设置生效。

    安装完成后输入 hadoop version 查看:

     
    四、伪分布式配置

    1、先将 jdk1.8 的路径添加到 hadoop-env.sh 中

    2、修改core-site.xml文件:

    <configuration>
            <property>
                 <name>hadoop.tmp.dir</name>
                 <value>file:/usr/local/hadoop/tmp</value>
                 <description>Abase for other temporary directories.</description>
            </property>
            <property>
                 <name>fs.defaultFS</name>
                 <value>hdfs://localhost:9000</value>
            </property>
    </configuration>


    wq保存



    3、接下来修改配置文件 hdfs-site.xml

    <configuration>
            <property>
                 <name>dfs.replication</name>
                 <value>1</value>
            </property>
            <property>
                 <name>dfs.namenode.name.dir</name>
                 <value>file:/usr/local/hadoop/tmp/dfs/name</value>
            </property>
            <property>
                 <name>dfs.datanode.data.dir</name>
                 <value>file:/usr/local/hadoop/tmp/dfs/data</value>
            </property>
    </configuration>    

    配置完成后,执行 NameNode 的格式化

    hdfs namenode -format


    然后启动namenode和datanode进程,并查看启动结果

    $ start-dfs.sh
    $ jps

     启动完成后,可以通过命令 jps 来判断是否成功启动,若成功启动则会列出如下进程: “NameNode”、”DataNode” 和 “SecondaryNameNode”

    进入ubuntu-Firefox中输入http://localhost:50070,若出现以下画面,则代表hadoop配置成功

     



  • 相关阅读:
    Atitit  atiMail atiDns新特性 v2  q39
    Atitit  atiMail atiDns新特性 v2  q39
    Atitit.aticmd v4  新特性q39 添加定时器释放功能
    Atitit.aticmd v4  新特性q39 添加定时器释放功能
    Atitit. Atiposter 发帖机 新特性 poster new feature   v7 q39
    Atitit. Atiposter 发帖机 新特性 poster new feature   v7 q39
    Atitit.编程语言and 自然语言的比较and 编程语言未来的发展
    Atitit.编程语言and 自然语言的比较and 编程语言未来的发展
    atitit.解决struts2 SpringObjectFactory.getClassInstance NullPointerException  v2 q31
    知也atitit.解决struts2 SpringObjectFactory.getClassInstance NullPointerException  v2 q31无涯 - I
  • 原文地址:https://www.cnblogs.com/shanger/p/12829432.html
Copyright © 2011-2022 走看看