zoukankan      html  css  js  c++  java
  • hadoop环境搭建(linux单机版)

    一、在Ubuntu下创建hadoop用户组合hadoop用户

    1、创建hadoop用户组
         addgroup hadoop
    2、创建hadoop用户
         adduser -ingroup hadoop hadoop
    3、为hadoop用户添加权限
         vim /etc/sudoers
         
    4、切换到hadoop用户
         su - hadoop
    二、ssh安装与设置
    1、安装ssh
          sudo apt-get install openssh-server
    2、启动服务
         sudo /etc/init.d/ssh start
    3、查看启动
         ps -e | grep ssh
    4、设置免密码登录,生成私钥与公钥
         ssh-keygen -t rsa -P ""
         此时会在/home/hadoop/.ssh下生成两个文件:id_rsa和id_rsa.pub,前者为私钥,后者为公钥。
         将公钥追加到authorized_keys中,它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。
         cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    5、ssh登录
         ssh localhost
    6、退出登录
         exit
    三、安装java环境
    1、安装java
         sudo apt-get install openjdk-7-jdk
    2、查看java版本
         java -version
    3、查看java安装路径
         update-alternative --config java
    四、安装hadoop2.7.1
         1、下载hadoop2.7.1.tar.gz
         2、解压:sudo tar xzf hadoop-2.7.1.tar.gz
         3、复制到:sudo mv hadoop-2.7.1 /usr/local/hadoop
         4、权限设置:sudo chmod 774 /usr/local/hadoop
         5、配置.bashrc文件
     #HADOOP VARIABLES START
         export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
         export HADOOP_INSTALL=/usr/local/hadoop
         export PATH=$PATH:$HADOOP_INSTALL/bin
         export PATH=$PATH:$HADOOP_INSTALL/sbin
         export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
         export HADOOP_COMMON_HOME=$HADOOP_INSTALL
         export HADOOP_HDFS_HOME=$HADOOP_INSTALL
         export YARN_HOME=$HADOOP_INSTALL
         export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
         export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
     #HADOOP VARIABLES END
         6、环境变量生效
              source ~/.bashrc
        7、编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh
         
    五、验证测试
         1、/usr/local/hadoop路径下创建input文件夹
        2、拷贝README.txt到input 
        3、执行WordCount
             bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output
         
    六、结果演示
       
       
        
         
     
     
         
  • 相关阅读:
    Windows 科研软件推荐
    有关Python 包 (package) 的基本知识
    《Using Python to Access Web Data》Week4 Programs that Surf the Web 课堂笔记
    Coursera助学金申请模板
    《Using Databases with Python》 Week2 Basic Structured Query Language 课堂笔记
    Jupyter 解决单个变量输出问题
    解决 pandas 中打印 DataFrame 行列显示不全的问题
    《Using Python to Access Web Data》 Week3 Networks and Sockets 课堂笔记
    缓存击穿及解决方案
    jvm垃圾收集器
  • 原文地址:https://www.cnblogs.com/fxust/p/7158026.html
Copyright © 2011-2022 走看看