zoukankan      html  css  js  c++  java
  • 大数据 --> 安装Hadoop-单机模式(1)

    安装Hadoop-单机模式(1)

    一、在Ubuntu下创建hadoop组和hadoop用户

      1)创建hadoop用户组

    sudo addgroup hadoop    //添加用户组

      2)创建hadoop用户 

    sudo adduser -ingroup hadoop hadoop // 创建hadoop用户,需要输入新的密码

      3、为hadoop用户添加权限,打开/etc/sudoers文件,添加:

    root ALL=(ALL:ALL) ALL
    hadoop ALL=(ALL:ALL) ALL   //添加这行, 给hadoop用户赋予和root用户同样的权限

    二、用新增加的hadoop用户登录Ubuntu系统

    su hadoop  //切换到hadoop用户,或者直接从设置->切换用户

    三、安装ssh

      1)安装ssh

    sudo apt-get install openssl-server  //安装ssh

      2)重启,并检查服务是否启动

    sudo /etc/init.d/ssh start   //重启服务
    ps -e | grep ssh        //查看服务是否正确启动

        3)设置免密码登录,生成私钥和公钥,在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub

    ssh-keygen -t rsa -P ""     //一路回车就行
    cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys       //公钥追加到authorized_keys
    ssh localhost         //登录测试是否成功,之后exit退出

    四、安装Java环境

    sudo apt-get install openjdk-7-jdk   //安装java
    java -version //检测是否安装成功

    如果出错,按这种方式(测试成功):

    1)下载jdk:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
    
    2)解压到指定目录:sudo tar xvf ./jdk-8u5-linux-x64.tar.gz  -C /usr/lib/jvm
    
    3)改名字: sudo mv jdk1.8.0_05/ java-8u5-sun
    
    4)在 ~/.bashrc文件加入,并source一下 export JAVA_HOME=/usr/lib/jvm/java-8u5-sun export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH  
    5)检查是否成功:java -version

    五、安装hadoop2.4.0

      1)官网下载 :http://mirror.bit.edu.cn/apache/hadoop/common/

      2)安装,并修改权限

    sudo tar xzf hadoop-2.4.0.tar.gz      //解压        
    sudo mv hadoop-2.4.0 /usr/local/hadoop    //移动到指定目录
    sudo chmod 755 /usr/local/hadoop    //修改权限

      3)配置,执行update-alternatives --config java,查找java安装路径 :/usr/lib/jvm/java-8u5-sun,在.bashrc文件添加:

    #HADOOP VARIABLES START
    export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
    export HADOOP_INSTALL=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_INSTALL/bin
    export PATH=$PATH:$HADOOP_INSTALL/sbin
    export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
    export HADOOP_COMMON_HOME=$HADOOP_INSTALL
    export HADOOP_HDFS_HOME=$HADOOP_INSTALL
    export YARN_HOME=$HADOOP_INSTALL
    export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
    export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
    #HADOOP VARIABLES END

      4)修改JAVA_HOME变量,打开:/usr/local/hadoop/etc/hadoop/hadoop-env.sh

    export JAVA_HOME=/usr/lib/jvm/java-8u5-sun   //修改环境变量

    六、WordCount测试

      1)在/usr/local/hadoop路径下创建input文件夹 :mkdir input

      2)拷贝README.txt到input  : cp README.txt input

      3)执行WordCount:

    sudo bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.2-sources.jar org.apache.hadoop.examples.WordCount input output  //红色换成自己路径下的jar包

      4)执行 cat output/*,查看字符统计结果

    ref:http://www.cnblogs.com/kinglau/p/3794433.html

  • 相关阅读:
    spark 读取mongodb失败,报executor time out 和GC overhead limit exceeded 异常
    在zepplin 使用spark sql 查询mongodb的数据
    Unable to query from Mongodb from Zeppelin using spark
    spark 与zepplin 版本兼容
    kafka 新旧消费者的区别
    kafka 新生产者发送消息流程
    spark ui acl 不生效的问题分析
    python中if __name__ == '__main__': 的解析
    深入C++的new
    NSSplitView
  • 原文地址:https://www.cnblogs.com/jeakeven/p/5335932.html
Copyright © 2011-2022 走看看