zoukankan      html  css  js  c++  java
  • Spark环境搭建(二)-----------HDFS shell 常用操作

    配置好HDFS,也学习了点HDFS的简单操作,跟Linux命令相似

    1)  配置Hadoop的环境变量,类似Java的配置

      在 ~/.bash_profile 中加入

        export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0

        export PATH=$HADOOP_HOME/bin:$PATH

    2)  获取命令帮助:

        使用命令  hadoop fs

        如图:

    3)   shell命令的简单使用

          操作           命令

        创建文件夹test      hadoop fs -mkdir /test/

        创建多层目录        hadoop fs -mkdir -p /a/b

     输出目录                          hadoop fs -ls /

     递归输出目录      hadoop fs -ls -R /

       上传文件到HDFS             hadoop fs -put filename  /path

       查看文件内容text      hadoop fs -text /path/filename

       查看文件内容cat              hadoop fs -cat /path/filename

       从HDFS下载到本地    hadoop fs -get /path/filename   newfilename

       删除文件(不适合文件夹)  hadoop fs -rm /path/filename

       删除文件夹(递归形式)     hadoop fs -rmr /path/filename

       删除文件夹(递归形式2)    hadoop fs -rm -r /path/filename

    4)具体其他命令可使用  hadoop fs 查找

       

  • 相关阅读:
    了解Django之前
    jQuery
    java模板模式项目中使用--封装一个http请求工具类
    spring boot项目配置RestTemplate超时时长
    TortoiseSVN-1.7.12.24070-x64-svn-1.7.9安装包和汉化包
    ubuntu16.04环境下在docker上部署javaweb项目简单案例
    工厂模式
    面向对象第四次博客
    面向对象第三次作业总结
    oo第二次博客
  • 原文地址:https://www.cnblogs.com/ruoniao/p/7212528.html
Copyright © 2011-2022 走看看