zoukankan      html  css  js  c++  java
  • Hadoop单机安装

    环境:ubuntu kylin 15.10,hadoop 2.8.1,jdk 8

    1、新建用户cauchy

    sudo adduser cauchy

    2、hosts中添加hadoop映射

    vi /etc/hosts

    注:使用cauchy用户执行ifconfig命令查看ip地址发现没有权限,执行如下命令解决

    vi ~/.bashrc
    
    最后添加export PATH="$PATH:/sbin"
    
    source ~/.bashrc

    3、使用cauchy用户安装SSH

    su - cauchy
    sudo
    apt-get install openssh-server

    报错:没有sudo权限。需要先给cauchy添加sudo权限

    su - root
    
    vi /etc/sudoers

    添加cauchy ALL=(ALL:ALL) ALL

    4、cauchy用户设置ssh免密

    cd ~/.ssh/
    ssh-keygen -t rsa
    一直回车
    cat ./id_rsa.pub >> ./authorized_keys
    ssh hadoop

    此时还是需要输入密码,才能连接

    5、修改authorized_keys以及用户目录cauchy权限

    chmod 600 authorized_keys
    chmod 710 /home/cauhcy
    ssh hadoop

    值得注意的是:

    cauchy目录权限为777,authorized_keys权限为777,免密登陆失败

    cauchy目录权限为777,authorized_keys权限为600,免密登陆失败

    cauchy目录权限为710,authorized_keys权限为600,免密登陆成功

    7、下载jdk,hadoop解压,并设置jdk,hadoop环境变量

    软件目录

    环境变量~/.bashrc

    执行java -version成功,执行hadoop失败:Error: JAVA_HOME is not set and could not be found.

    说明需要export JAVA_HOME。(同时在PATH中增加了$HADOOP_HOME/sbin)

    此时执行hadoop成功。

     8、测试

    在/home/cauchy/software目录下新建一个测试文本word.txt

    Hello, hadoop, I'm comming.
    I love you.

    执行命令

    hadoop jar ~/software/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount ~/software/word.txt ~/software/result

    可以看到生成了结果文件夹~/software/result

  • 相关阅读:
    高级特性(7)- 高级AWT
    洛谷 P1948 [USACO08JAN]电话线Telephone Lines
    洛谷 P2015 二叉苹果树
    洛谷 P2014 选课
    洛谷 P1560 [USACO5.2]蜗牛的旅行Snail Trails(不明原因的scanf错误)
    cogs 10. 信号无错传输
    cogs 9. 中心台站建设。。。
    洛谷 P1731 生日蛋糕
    洛谷 P1092 虫食算
    洛谷 P1034 矩形覆盖
  • 原文地址:https://www.cnblogs.com/coshaho/p/7376720.html
Copyright © 2011-2022 走看看