zoukankan      html  css  js  c++  java
  • Python+Spark2.0+hadoop学习笔记——Hadoop HDFS命令

    历经千辛万苦,终于把Ubuntu和Hadoop安装好了,过程很繁琐也很费时间,在这里就不展开讲述了。

    下面将开始介绍Hadoop HDFS命令。

    HDFS命令格式如下:

    hadoop fs -命令

    1)常用的HDFS命令:

    hadoop fs -mkdir 创建HDFS目录

    hadoop fs -ls 列出HDFS目录

    hadoop fs -copyFromLocal 使用-copyFromLocal复制本地(local)文件到HDFS

    hadoop fs -put 使用-put复制本地(local)文件到HDFS

    hadoop fs -cat 列出HDFS目录下的文件内容

    hadoop fs -copyToLocal 使用-copyToLocal将HDFS上的文件复制到本地(local)

    hadoop fs -get 使用-get将HDFS上的文件复制到本地(local)

    hadoop fs -cp 复制HDFS文件

    hadoop fs -rm 删除HDFS文件

    2)从本地到HDFS

    接下来我们启动Hadoop Multi-Node Cluster,包含虚拟服务器master、data1、data2、data3。

    在master服务器的终端输入:

    start-all.sh

    然后创建一个user目录

    hadoop fs -mkdir /user

    然后在user目录下创建子目录test

    hadoop fs -mkdir /user/test

    查看之前创建的HDFS目录

    hadoop fs -ls

    查看HDFS根目录

    hadoop fs -ls /

    查看HDFS的/user目录

    hadoop fs -ls /user

    一次查看所有子目录

    hadoop fs -ls -R /

    同理可以一次性创建所有子目录

    hadoop fs -mkdir -p /dir1/dir2/dir3

    从本地计算机复制文件到HDFS

    hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/test

    复制本地文件到HDFS的目录的test1.txt

    hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /user/test/test1.txt

    列出HDFS目录下的文件内容

    hadoop fs -cat /user/test/README.txt

    如果文件太大,可以加上“|more”,一页一页地显示

    hadoop fs -cat /user/test/README.txt |more

    如果现有文件存在的话则会显示已存在,但是可以使用-f来强制复制文件

    hadoop fs -copyFromLocal -f /usr/local/hadoop/README.txt /user/test

    也可以同时复制多个文件

    hadoop fs -copyFromLocal /usr/local/hadoop/README.txt /usr/local/hadoop/LICENSE.txt /user/test

    复制整个文件夹的指定目录

    hadoop fs -copyFromLocal /usr/local/hadoop/etc /user/test

    列出HDFS目录/user/test/etc下的所有文件

    hadoop fs -ls -R /user/test/etc

    使用put复制文件到HDFS目录,会直接覆盖文件

    hadoop fs -put /usr/local/hadoop/README.txt /user/test/test2.txt

    将原本显示在屏幕上的内容存储到HDFS文件

    echo abc | hadoop fs -put - /user/test/echoin.txt(“|”(pipe管道符号))

    显示在HDFS中echoin.txt文件的内容

    hadoop fs -cat /user/test/echoin.txt(结果显示为abc)

    将本地目录的列表存储到HDFS文件

    ls /usr/local/hadoop | hadoop fs -put - /user/test/hadooplist.txt

    3)从HDFS到本地

    在本地创建test测试目录

    mkdir test

    切换到test目录

    cd test 

    将HDFS的文件复制到本地计算机

    hadoop fs -copyToLocal /user/text/hadooplist.txt

    查看本地目录

    ll

    将整个HDFS上的目录复制到本地计算机

    hadoop fs -copyToLocal /user/test/etc

    将HDFS上的文件复制到本地计算机

    hadoop fs -get /user/test/README.txt localREADME.txt

    4)复制与删除HDFS文件

    复制HDFS文件到HDFS测试目录

    hadoop fs -cp /user/test/README.txt /user/test/temp

    删除HDFS文件

    hadoop fs -rm /user/test/test2.txt

    删除HDFS目录

    hadoop fs -rm -R /user/test/etc

    5)此外,还可以使用Hadoop HDFS Web用户界面来浏览HDFS,查看文件、查看完整信息、下载文件和打开文件等。

  • 相关阅读:
    关于window7下的apache+php+mysql的配置
    pysam
    pysam读取bam files[转载]
    曼哈顿图[转载]
    关于在shell中直接修改文件名
    Linux怎样将文本行倒序排列
    用Annovar注释非人类基因组,如小鼠mm9
    shell中的##*,%%*问题
    BEAMing技术
    Annovar注释说明【转载自http://blog.csdn.net/u013816205/article/details/51262289】
  • 原文地址:https://www.cnblogs.com/zhuozige/p/12582005.html
Copyright © 2011-2022 走看看