zoukankan      html  css  js  c++  java
  • hadoop常用的操作命令

    1.显示hdfs上test目录下的所有文件列表

     hadoop fs -ls /test/

    2.查看hdfs中的文件内容

    hadoop fs -cat /daas/bstl/term/rawdt/20150805_9 | less

    3.在hdfs上创建目录

    hadoop fs -mkdir /test/datatest //创建datatest

    4.从hdfs上复制文件到另外的一个目录下

    hadoop fs -cp /test/cp1.txt  /test1/   //将cp1.txt从test目录下复制到test1目录下

    5.从本地上传文件到hdfs上

    例如本地有文件:test.txt

    hadoop  fs -put test.txt /test/data/    //将test.txt 用put命令上传至hdfs中的data目录下

    6.从hdfs上将文件下载到本地

    例如hdfs上有文件test.txt

    hadoop fs -get /test/data/test.txt

    7.用超级用户给用户加权限

    hadoop fs -chown lyb:lyb /test/lyb

    8.查看hdfs文件夹的占用内存

    hadoop fs -du -s -h /test/datatest/flume

    9.删除hdfs上的文件

    hadoop fs -rm /test/data/test.txt  //删除test.txt文件

    hadoop fs -rmr /test/data/  //删除data目录

    hadoop fs -rmr /test/data/* //删除data目录下所有的文件

    10.hdfs上把文件的前十条数据取出并下载到本地,并重命名为txt文件

    hadoop fs -text /daas/bstl/dpifix/sichuan/20151104/FixedDPI.2015110423.1446652074136.lzo_deflate |head -n 10 >> /tmp/sichuan3.txt

    11.查看hdfs上文件内容的条数

    hadoop fs -ls /test/datatest/test.txt | wc -l

    12.统计某一类文件的占用的大小:

    示例:

    (1)以G为单位显示:

    hadoop fs -ls /daas/bstl/dpifix/sichuan/20151104 |grep 2015110409 |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024/1024,"G"}' 

    (2)以M为单位显示:

    hadoop fs -ls /daas/bstl/dpifix/sichuan/20151104 |grep 2015110409 |awk 'BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}' 

    12.hadoop job 管理命令

    (1)列出Jobtracer上所有的作业

    hadoop job -list

    (2)使用hadoop job -kill杀掉指定的jobid

    hadoop job -kill job_id

    (3)组合以上两条命令就可以实现kill掉指定用户的job

    for i in `hadoop job -list | grep -w  username| awk '{print $1}' | grep job_`; do hadoop job -kill $i; done

    13.彻底删除文件命令:

    hadoop fs -rm -r -skipTrash
  • 相关阅读:
    对于开发WEB方面项目需要的工具和技术了解
    SQLServer创建链接服务器
    Tomcat部署Web应用方法总结
    JDK/bin目录下的不同exe文件的用途
    js高级技巧自定义事件
    HTML5 web SQL
    js高级技巧拖放
    图片替换文字
    CSS内容生成(重要内容:css计数器)
    CSS 使元素垂直居中
  • 原文地址:https://www.cnblogs.com/liyanbin/p/5001158.html
Copyright © 2011-2022 走看看