zoukankan      html  css  js  c++  java
  • HDFS的一些常用指令

    一、查看HDFS的文件目录

      1  列出HDFS下的文件

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -ls

       2 列出HDFS文件下名为in的文档中的文件

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -ls in

    二、 上传文件

      1 将hadoop目录下的test1文件上传到HDFS上:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -put test1

      2 将hadoop目录下的test1文件上传到HDFS上并重命名为test:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -put test1 test

    三、 文件被复制到本地系统中

      将HDFS中的in文件复制到本地系统并命名为getin:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -get in getin

    四、 删除文档

      1 删除HDFS下名为out的文件:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -rmr out

      2 删除HDFS下名为out的文件夹:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -rm out

    五、 查看文件内容

      查看HDFS下in文件中的内容:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -cat in/*

    六、 建立目录

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -mkdir /user/hadoop/examples(目录/目录名)

      只能一级一级的建目录。

    七、复制文件

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -copyFromLocal 源路径 路径

    八、通过Hadoop命令把两个文件的内容合并起来

      hdfs dfs -getmerge 位于hdfs中的原文件(里面有多个文件) 合并后的文件名
      例如: hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult

       注:合并后的文件位于当前目录,不在hdfs中,是本地文件

  • 相关阅读:
    HashTable、HashSet和Dictionary的区别
    CCF_ 201312-3_最大的矩形
    CCF_ 201312-2_ISBN号码
    CCF_201312-1_出现次数最多的数
    CCF_ 201509-2_日期计算
    CCF_ 201512-3_画图
    CCF_ 201512-2_消除类游戏
    CCF_ 201409-2_画图
    CCF_201409-1_相邻数对
    CCF_ 201412-1_门禁系统
  • 原文地址:https://www.cnblogs.com/wei-520/p/13382547.html
Copyright © 2011-2022 走看看