zoukankan      html  css  js  c++  java
  • HDFS安装

    最近内部需求,要求我把数据上传HDFS,顺便分享一下如何安装并查看HDFS文件目录

    我是在 ubuntu(14.04.2) 上安装的:

    1. 我安装ubuntu用的不是Hadoop用户,所以要新建一个Hadoop用户

      $ sudo useradd -m hadoop -s /bin/bash

        设置密码

      $ sudo passwd hadoop

       增加Hadoop用户管理权限,方便部署

      $ sudo adduser hadoop sudo

       更新apt (若出现 “Hash校验和不符” 的提示,可通过更改软件源来解决,由于我在该步骤没有出现这个问题。。。你们懂得)

      $ sudo apt-get update

    2. 安装SSH,配置SSH无密码登陆(Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server

      $ sudo apt-get install openssh-server

       先登录一次ssh,按提示输入ubuntu的密码(登陆后如要退出,输入exit)

      $ ssh localhost

       配置SSH无密码登录

      $ cd ~/.ssh/                 # 若没有该目录,请先执行一次ssh localhost

      $ ssh-keygen -t rsa               # 会有提示,都按回车就可以

      $ cat ./id_rsa.pub >> ./authorized_keys     # 加入授权

    3. 安装Java环境

      sudo apt-get install openjdk-7-jre openjdk-7-jdk  #这边我直接通过命令安装 OpenJDK 7

       找到OpenJDK的安装路径 (该命令输出路径去掉 /bin/javac 就是 JDK安装路径, 之后会用到)

      $ dpkg -L openjdk-7-jdk | grep '/bin/javac'

       配置 JAVA_HOME 环境变量

      $ vim ~/.bashrc

       在文件最前面添加如下单独一行(注意 = 号前后不能有空格),将“JDK安装路径”改为之前命令得到的路径,并保存:

      $ export JAVA_HOME=JDK安装路径

       

       保存文件退出,执行命令使其生效:

      $ source ~/.bashrc

       检测一下是否生效:

      $ echo $JAVA_HOME          # 检验变量值

      $ java -version

      $ JAVA_HOME/bin/java -version    # 与直接执行 java -version 一样

       以上,Java环境安装完毕

    4. 安装Hadoop

    Hadoop 2 可以通过 http://mirror.bit.edu.cn/apache/hadoop/common/ 或者 http://mirrors.cnnic.cn/apache/hadoop/common/ 下载,一般选择下载最新的稳定版本,即下载 “stable” 下的 hadoop-x.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。我下载的是最新稳定版hadoop-2.9.0.tar.gz

       解压到目标目录

      $ sudo tar -zxf ~/download/hadoop-2.9.0.tar.gz -C ~/download

       此时我的文件夹状态:

       

      $ sudo mv ./hadoop-2.9.0/ ./hadoop    # 修改文件名

      sudo chown -R hadoop ./hadoop                # 修改文件权限

       由于我下载的包解压后就可以使用,现在测试一下Hadoop是否安装成功

      $ cd hadoop       # 进入hadoop文件夹

      $ ./bin/hadoop version  # 成功则会显示 Hadoop 版本信息

       到此Hadoop安装完成

    5. 查看HDFS上的文件

       在hadoop文件夹下,输入如下命令:

       $ ./bin/hadoop fs -ls hdfs://192.168.X.XX:XX/test/input/online

    把 -ls 改为 -text 就可以查看文件了

    更多操作请参考http://www.powerxing.com/install-hadoop/https://segmentfault.com/a/1190000002672666

    PS: 各位觉得有用就留个赞 THX

     

     

  • 相关阅读:
    N46期第一周作业
    马哥博客作业第五周
    马哥博客作业第四周
    马哥博客作业第三周
    04go条件和循环
    03go运算符
    01go变量和常量
    02vue指令-1
    01vue初识
    05django模板层
  • 原文地址:https://www.cnblogs.com/javencs/p/8625149.html
Copyright © 2011-2022 走看看