zoukankan      html  css  js  c++  java
  • hadoop配置

    转载 https://blog.csdn.net/spy_h/article/details/80767733

    一、准备

    1.1创建hadoop用户

    $ sudo useradd -m hadoop -s /bin/bash  #创建hadoop用户,并使用/bin/bash作为shell
    $ sudo passwd hadoop                   #为hadoop用户设置密码,之后需要连续输入两次密码
    $ sudo adduser hadoop sudo             #为hadoop用户增加管理员权限
    $ su - hadoop                          #切换当前用户为用户hadoop
    $ sudo apt-get update                  #更新hadoop用户的apt,方便后面的安装

    1.2安装SSH,设置SSH无密码登陆

    $ sudo apt-get install openssh-server   #安装SSH server
    $ ssh localhost                         #登陆SSH,第一次登陆输入yes
    $ exit                                  #退出登录的ssh localhost
    $ cd ~/.ssh/                            #如果没法进入该目录,执行一次ssh localhost
    $ ssh-keygen -t rsa  

    输入完  $ ssh-keygen -t rsa 语句以后,需要连续敲击三次回车,如下图:

    其中,第一次回车是让KEY存于默认位置,以方便后续的命令输入。第二次和第三次是确定passphrase,相关性不大。两次回车输入完毕以后,如果出现类似于下图所示的输出,即成功:

    之后再输入:

    $ cat ./id_rsa.pub >> ./authorized_keys #加入授权
    $ ssh localhost                         #此时已不需密码即可登录localhost,并可见下图。如果失败则可以搜索SSH免密码登录来寻求答案

    二、安装jdk1.7

    首先在oracle官网下载jdk1.7 http://www.oracle.com/technetwork/java/javase/downloads/index.html 接下来进行安装与环境变量配置,根据个人电脑系统选择对应版本,我选的是jdk-7u80-linux-x64.tar.gz

    
    
    
    $ mkdir /usr/lib/jvm                           #创建jvm文件夹
    $ sudo tar zxvf jdk-7u80-linux-x64.tar.gz  -C /usr/lib #/ 解压到/usr/lib/jvm目录下
    $ cd /usr/lib/jvm                                 #进入该目录
    $ mv  jdk1.7.0_80 java                         #重命名为java
    $ vi ~/.bashrc                                 #给JDK配置环境变量

    注:其中如果权限不够,无法在相关目录下创建jvm文件夹,那么可以使用 $ sudo -i  语句进入root账户来创建文件夹。

    另外推荐使用vim来编辑环境变量,即最后一句使用指令

    $ vim ~/.bashrc 

    如果没有vim,可以使用:

    $sudo apt-get install vim

    来进行下载。

    
    

     在.bashrc文件添加如下指令:

    export JAVA_HOME=/usr/lib/jvm/java
    export JRE_HOME=${JAVA_HOME}/jre
    export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
    export PATH=${JAVA_HOME}/bin:$PATH

    在文件修改完毕以后,输入代码:

    $ source ~/.bashrc                       #使新配置的环境变量生效
    $ java -version                          #检测是否安装成功,查看java版本

    如果出现如下图所示的内容,即为安装成功

    注:如果各位不想一个一个的敲击,可以复制黏贴,但因为vim不支持系统粘贴板,所以需要先下载相关插件vim-gnome

    sudo apt-get install vim-gnome

    然后复制相关代码,光标移到指定位置,使用指令 "+p,即可复制,注意 " 也是需要敲击的内容,即一共有 " 、+、p 三个操作符需要敲入

    三、安装hadoop-2.6.0

    先下载hadoop-2.6.0.tar.gz,链接如下: 
    http://mirrors.hust.edu.cn/apache/hadoop/common/

    下面进行安装:

    $ sudo tar -zxvf  hadoop-2.6.0.tar.gz -C /usr/local    #解压到/usr/local目录下
    $ cd /usr/local
    $ sudo mv  hadoop-2.6.0    hadoop                      #重命名为hadoop
    $ sudo chown -R hadoop ./hadoop                        #修改文件权限

    给hadoop配置环境变量,将下面代码添加到.bashrc文件:

    export HADOOP_HOME=/usr/local/hadoop
    export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    同样,执行source ~./bashrc使设置生效,并查看hadoop是否安装成功

    这里写图片描述

  • 相关阅读:
    Read-Copy Update Implementation For Non-Cache-Coherent Systems
    10 华电内部文档搜索系统 search04
    10 华电内部文档搜索系统 search05
    lucene4
    10 华电内部文档搜索系统 search01
    01 lucene基础 北风网项目培训 Lucene实践课程 索引
    01 lucene基础 北风网项目培训 Lucene实践课程 系统架构
    01 lucene基础 北风网项目培训 Lucene实践课程 Lucene概述
    第五章 大数据平台与技术 第13讲 NoSQL数据库
    第五章 大数据平台与技术 第12讲 大数据处理平台Spark
  • 原文地址:https://www.cnblogs.com/cxhzy/p/11046805.html
Copyright © 2011-2022 走看看