zoukankan      html  css  js  c++  java
  • Hadoop HDFS的Shell操作实例

    本文发表于本人博客

        我们知道HDFS是Hadoop的分布式文件系统,那既然是文件系统那最起码会有管理文件、文件夹之类的功能吧,这个类似我们的Windows操作系统一样的吧,创建、修改、删除、移动、复制、修改权限等这些操作。 那我们现在来看看hadoop下是怎么操作的。

        先输入hadoop fs命令,会看到如下输出:

    Usage: java FsShell
               [-ls <path>]
               [-lsr <path>]
               [-du <path>]
               [-dus <path>]
               [-count[-q] <path>]
               [-mv <src> <dst>]
               [-cp <src> <dst>]
               [-rm [-skipTrash] <path>]
               [-rmr [-skipTrash] <path>]
               [-expunge]
               [-put <localsrc> ... <dst>]
               [-copyFromLocal <localsrc> ... <dst>]
               [-moveFromLocal <localsrc> ... <dst>]
               [-get [-ignoreCrc] [-crc] <src> <localdst>]
               [-getmerge <src> <localdst> [addnl]]
               [-cat <src>]
               [-text <src>]
               [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>]
               [-moveToLocal [-crc] <src> <localdst>]
               [-mkdir <path>]
               [-setrep [-R] [-w] <rep> <path/file>]
               [-touchz <path>]
               [-test -[ezd] <path>]
               [-stat [format] <path>]
               [-tail [-f] <file>]
               [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]
               [-chown [-R] [OWNER][:[GROUP]] PATH...]
               [-chgrp [-R] GROUP PATH...]
               [-help [cmd]]

    这个显示了hadoop fs支持的命令,比如(启动hadoop服务)在终端输入:

    hadoop fs -ls /

    也可以输入:

    hadoop fs -ls hdfs://hadoop-master:9000/

    如果不知道具体使用那么我们可以使用最后的一个命令[-help [cmd]],比如查看ls命令帮助输入:

    hadoop fs -help ls

    那么就会输出便于我们查看帮助:

    -ls <path>:     List the contents that match the specified file pattern. If
                    path is not specified, the contents of /user/<currentUser>
                    will be listed. Directory entries are of the form 
                            dirName (full path) <dir> 
                    and file entries are of the form 
                            fileName(full path) <r n> size 
                    where n is the number of replicas specified for the file 
                    and size is the size of the file, in bytes.

    至于我们在shell下操作,我想醉常见的莫过于创建文件夹、上传文件、删除文件文件夹、修改权限、查看文件内容这几个了,下面我来一个个说。


    创建文件夹输入:

    hadoop fs -mkdir /data

    就会在根目录创建一个data文件夹;

    可以使用下面命令查看:

    hadoop fs -ls /

    输出:

    Found 2 items
    drwxr-xr-x   - hadoop supergroup          0 2014-12-15 19:00 /data
    drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:26 /usr

    这个格式很像linux下的shell哦,drwxr-xr-x开头的d代表的是目录,这个跟linux谁一样的了,第二个字符‘-’表示副本数,此时文件夹是没有的因为文件夹是逻辑结构组成的,只有文件才有值。具体说明可以参考hadoo fs -help ls。

    现在上传一个文件至/data下,我们使用:

    hadoop fs -put ./test.txt /data/

    再使用下面命令查看:

    hadoop fs -ls /data

    输出:

    Found 1 items
    -rw-r--r--   1 hadoop supergroup         33 2014-12-15 19:05 /data/test.txt

    此时-rw-r--r--可以看出表示是文件,副本数1。

    那下面我们来查看一下上传的内容是不是跟本地的一样,我们可以使用命令:

    hadoop fs -text /data/test.txt

    这里输出不在对比了。这时我们使用了新的命令-text。查看文件内容的命令,具体参考

    hadoop fs -help text

    现在我们对刚创建的/data文件夹进行权限修改,先看当前的权限:

    Found 2 items
    drwxr-xr-x   - hadoop supergroup          0 2014-12-15 19:05 /data
    drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:26 /usr

    现在我们执行下面命令,把/data文件夹已经起下面的所有文件夹文件度改为777:

    hadoop fs -chmod -R 777 /data

    再使用下面命令查看:

    hadoop fs -lsr /

    结果:

    drwxrwxrwx   - hadoop supergroup          0 2014-12-15 19:05 /data
    -rw-rw-rw-   1 hadoop supergroup         33 2014-12-15 19:05 /data/test.txt
    drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:26 /usr
    drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:56 /usr/local
    drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:56 /usr/local/hadoop
    drwxr-xr-x   - hadoop supergroup          0 2014-12-10 22:56 /usr/local/hadoop/tmp
    drwxr-xr-x   - hadoop supergroup          0 2014-12-15 18:47 /usr/local/hadoop/tmp/mapred
    drwx------   - hadoop supergroup          0 2014-12-15 18:47 /usr/local/hadoop/tmp/mapred/system
    -rw-------   1 hadoop supergroup          4 2014-12-15 18:47 /usr/local/hadoop/tmp/mapred/system/jobtracker.info

    这时候的/data的权限已经更改了,连其文件夹下面的文件也更改了!不过这里我注意到这个文本文件的话即时更改为777但是执行权限也没有,不知道为什么。但是在linux是rwx的!下面我们再使用命令看看:

    hadoop fs -chmod -R a+x /data

    再使用:

    hadoop fs -lsr /

    结果就这里不显示了,但是还是未更改文本文件的执行权限,还是一样!可能真的是无法更改吧!

    -rw-rw-rw-   1 hadoop supergroup         33 2014-12-15 19:05 /data/test.txt

    上面几个尝试了,感觉就跟linux一样了,简单有时在调试的时候可以执行命令查看下,即将结束那就把上面创建的文件夹删除吧,执行:

    hadoop fs -rmr /data

    当然还有这个命令:

    hadoop fs -rm /data/test.txt

    这里我就不说它们的区别的了,我想熟悉linxu命令的都应该知道了!

    这次先到这里。坚持记录点点滴滴!

  • 相关阅读:
    装饰器的用法——用装饰器来记录函数被调用的次数
    类和对象(上) C++
    数据结构—树(二叉树)
    数据结构—顺序表
    c++入门

    Cypress博客
    自动化测试框架总结2
    前端测试框架Jest总结
    关于redux和react书籍源码系列代码
  • 原文地址:https://www.cnblogs.com/luoliang/p/4166762.html
Copyright © 2011-2022 走看看