zoukankan      html  css  js  c++  java
  • HDFS的一些常用指令

    一、查看HDFS的文件目录

      1  列出HDFS下的文件

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -ls

       2 列出HDFS文件下名为in的文档中的文件

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -ls in

    二、 上传文件

      1 将hadoop目录下的test1文件上传到HDFS上:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -put test1

      2 将hadoop目录下的test1文件上传到HDFS上并重命名为test:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -put test1 test

    三、 文件被复制到本地系统中

      将HDFS中的in文件复制到本地系统并命名为getin:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -get in getin

    四、 删除文档

      1 删除HDFS下名为out的文件:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -rmr out

      2 删除HDFS下名为out的文件夹:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -rm out

    五、 查看文件内容

      查看HDFS下in文件中的内容:

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -cat in/*

    六、 建立目录

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -mkdir /user/hadoop/examples(目录/目录名)

      只能一级一级的建目录。

    七、复制文件

      /usr/local/hadoop(即hadoop的安装目录)$bin/hadoop dfs -copyFromLocal 源路径 路径

    八、通过Hadoop命令把两个文件的内容合并起来

      hdfs dfs -getmerge 位于hdfs中的原文件(里面有多个文件) 合并后的文件名
      例如: hdfs dfs -getmerge hdfs://Master:9000/data/SogouResult.txt CombinedResult

       注:合并后的文件位于当前目录,不在hdfs中,是本地文件

  • 相关阅读:
    [转]大型网站架构设计的体系演变
    [转]木桶理论已死,长板理论告诉你:优势才是王道!
    UHF RFID编码之TPP编码
    Git使用笔记
    使用Open Live Writer写博客
    频谱分析仪
    相位噪声
    峰值因子,峰均比,Reference Level
    SeeSharpTools.JXI.DSP.Spectrum 使用
    dyld: Library not loaded: /usr/lib/libstdc++.6.dylib
  • 原文地址:https://www.cnblogs.com/wei-520/p/13382547.html
Copyright © 2011-2022 走看看