zoukankan      html  css  js  c++  java
  • Spark环境搭建(二)-----------HDFS shell 常用操作

    配置好HDFS,也学习了点HDFS的简单操作,跟Linux命令相似

    1)  配置Hadoop的环境变量,类似Java的配置

      在 ~/.bash_profile 中加入

        export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0

        export PATH=$HADOOP_HOME/bin:$PATH

    2)  获取命令帮助:

        使用命令  hadoop fs

        如图:

    3)   shell命令的简单使用

          操作           命令

        创建文件夹test      hadoop fs -mkdir /test/

        创建多层目录        hadoop fs -mkdir -p /a/b

     输出目录                          hadoop fs -ls /

     递归输出目录      hadoop fs -ls -R /

       上传文件到HDFS             hadoop fs -put filename  /path

       查看文件内容text      hadoop fs -text /path/filename

       查看文件内容cat              hadoop fs -cat /path/filename

       从HDFS下载到本地    hadoop fs -get /path/filename   newfilename

       删除文件(不适合文件夹)  hadoop fs -rm /path/filename

       删除文件夹(递归形式)     hadoop fs -rmr /path/filename

       删除文件夹(递归形式2)    hadoop fs -rm -r /path/filename

    4)具体其他命令可使用  hadoop fs 查找

       

  • 相关阅读:
    tip6: 程序不工作就是最大的异常
    简单实用的Code Review工具
    HDU4008 Parent and son [树形DP]
    HDU4004 The Frog's Games [二分]
    HDU4006 The kth great number [堆]
    HDU4024 Dwarven Sniper’s hunting [二分]
    HDU4005 The war [树形DP]
    HDU4009 Transfer water [最小树形图]
    HDU4023 Game [贪心+博弈]
    HDU4007 Dave [杂题]
  • 原文地址:https://www.cnblogs.com/ruoniao/p/7212528.html
Copyright © 2011-2022 走看看