zoukankan      html  css  js  c++  java
  • 常用HDFS操作命令

     前一段时间频繁使用HDFS,又收集到了一些命令,在这儿分享出来,大数据的框架及设计原理方面的理论文章暂时还没有时间总结,后面有时间逐渐整理发出来。

      注:在使用命令时,可以使用 hadoop fs,如果配置了环境变量,可以使用 hdfs dfshadoop fs 这个两个命令。

      #export HADOOP_USER_NAME=hdfs          --设置hadoop_user_name

      #hdfs dfs -help                    --查看hdfs帮助

      #hdfs dfs -ls /        #hadoop fs -ls /         --查看根目录文件
      #hdfs dfs -put sourcepath savepath            --hdfs上传文件,-f 覆盖已有文件;-p 保留原文件属性
      #hdfs dfs -get sourcepath savepath            --hdfs下载文件

      #hdfs dfs -mkdir -p /output/dirname              --创建文件夹dirname

      #hdfs dfs -mkdir -p /output/dirname            --创建多级目录

      #hdfs dfs -touchz /input/filename             --创建文件filename
      #hdfs dfs -cat /input/filename                 --查看文件filename

      #hdfs dfs -du -s /input/                   --查看所有文件大小和字节大小
      #hdfs dfs -cp /sourcefile /targetfile              --复制文件
      #hdfs dfs -rm /directory/                 --删除文件
      #hdfs dfs -rm -R /directory/                  --删除文件夹,-R循环删除文件夹里面的文件

      #hdfs dfs -mv /user/root/.Trash/Current/test/filename /test/filename         --找回删除文件

      #运行MapReduce: hadoop jar jarpath inputfilepath outputdir
      #hadoop jar /opt/test.jar /input/test/test.txt /output/test/
      #yarn jar /opt/test.jar /input/test/test.txt /output/test/

      #hdfs dfs -getmerge sourcepaths savefilename         --合并文件
      #hdfs dfsadmin -report                   --查看HDFS的基本统计信息

      #hdfs dfs -text /input/log.txt                 --将给定的文件以文本的格式输出,zip、TextRecordInputStream、Avro

      #hdfs dfs -appendToFile /sourcefile /targetfile         --向目标文件中追加内容

      #hdfs dfs -count /input/test/                 --统计文件夹和文件个数

      #hdfs fsck /data/test.csv -files -racks -locations -blocks       --查看文件分区存储情况

      #tail -f filename.log                      --动态查看log日志

    1.Permission denied: user=root, access=WRITE, inode="/input":hdfs:supergroup:drwxr-xr-x 原因是为配置hadoop的user环境变量

      #export HADOOP_USER_NAME=hdfs            --设置hadoop_user_name

  • 相关阅读:
    “同形异义字”钓鱼攻击
    研发管理101军规#001 两周迭代,形成团队持续习惯
    全新 PingCode 正式发布
    Python基础数据类型——tuple浅析
    Python基础变量类型——List浅析
    有了这个神器,快速告别垃圾短信邮件
    零基础打造一款属于自己的网页搜索引擎
    一篇文章教会你使用Python网络爬虫下载酷狗音乐
    趣味解读Python面向对象编程 (类和对象)
    上古神器Gvim--从入门到精通
  • 原文地址:https://www.cnblogs.com/zengming/p/10306706.html
Copyright © 2011-2022 走看看