zoukankan      html  css  js  c++  java
  • Spark环境搭建(二)-----------HDFS shell 常用操作

    配置好HDFS,也学习了点HDFS的简单操作,跟Linux命令相似

    1)  配置Hadoop的环境变量,类似Java的配置

      在 ~/.bash_profile 中加入

        export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0

        export PATH=$HADOOP_HOME/bin:$PATH

    2)  获取命令帮助:

        使用命令  hadoop fs

        如图:

    3)   shell命令的简单使用

          操作           命令

        创建文件夹test      hadoop fs -mkdir /test/

        创建多层目录        hadoop fs -mkdir -p /a/b

     输出目录                          hadoop fs -ls /

     递归输出目录      hadoop fs -ls -R /

       上传文件到HDFS             hadoop fs -put filename  /path

       查看文件内容text      hadoop fs -text /path/filename

       查看文件内容cat              hadoop fs -cat /path/filename

       从HDFS下载到本地    hadoop fs -get /path/filename   newfilename

       删除文件(不适合文件夹)  hadoop fs -rm /path/filename

       删除文件夹(递归形式)     hadoop fs -rmr /path/filename

       删除文件夹(递归形式2)    hadoop fs -rm -r /path/filename

    4)具体其他命令可使用  hadoop fs 查找

       

  • 相关阅读:
    CSUST 4005-你真的会!(分治思维+线段树)
    CSUST 4007-你真的会图论吗?(思维-三元环)
    CSUST 4002-你真的会字符串吗?(DP)
    Odoo下拉动作列表
    Odoo Shell
    Odoo report
    Odoo Web Service API
    Odoo启动过程
    Odoo10 变化
    Odoo10尝鲜:出勤登记
  • 原文地址:https://www.cnblogs.com/ruoniao/p/7212528.html
Copyright © 2011-2022 走看看