zoukankan      html  css  js  c++  java
  • Spark环境搭建(二)-----------HDFS shell 常用操作

    配置好HDFS,也学习了点HDFS的简单操作,跟Linux命令相似

    1)  配置Hadoop的环境变量,类似Java的配置

      在 ~/.bash_profile 中加入

        export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0

        export PATH=$HADOOP_HOME/bin:$PATH

    2)  获取命令帮助:

        使用命令  hadoop fs

        如图:

    3)   shell命令的简单使用

          操作           命令

        创建文件夹test      hadoop fs -mkdir /test/

        创建多层目录        hadoop fs -mkdir -p /a/b

     输出目录                          hadoop fs -ls /

     递归输出目录      hadoop fs -ls -R /

       上传文件到HDFS             hadoop fs -put filename  /path

       查看文件内容text      hadoop fs -text /path/filename

       查看文件内容cat              hadoop fs -cat /path/filename

       从HDFS下载到本地    hadoop fs -get /path/filename   newfilename

       删除文件(不适合文件夹)  hadoop fs -rm /path/filename

       删除文件夹(递归形式)     hadoop fs -rmr /path/filename

       删除文件夹(递归形式2)    hadoop fs -rm -r /path/filename

    4)具体其他命令可使用  hadoop fs 查找

       

  • 相关阅读:
    云架构师进阶攻略(1)
    针对云主机卡死问题的定位分析方法
    让App飞久一点
    OC静态代码检查实战
    PAT 1010. 一元多项式求导
    PAT 1009. 说反话
    PAT 1008 数组元素循环右移问题
    PAT 1007. 素数对猜想
    PAT 1006 换个格式输出整数
    PAT 1005 继续(3n+1)猜想
  • 原文地址:https://www.cnblogs.com/ruoniao/p/7212528.html
Copyright © 2011-2022 走看看