zoukankan      html  css  js  c++  java

  • Hadoop基础：补充：hadoop的目录结构介绍

    hadoop的目录结构介绍

    解压缩hadoop

    利用tar –zxvf把hadoop的jar包放到指定的目录下。

    tar -zxvf /home/software/aa.tar.gz -C /home/zjx/pf

    f:指定文件的名称

      z:以gz结尾的文件就是用gzip压缩的结果。与gzip相对的就是gunzip，这个参数的作用就是用来调用gzip。

      X:为解开的意思

      Z:详细报告处理文件的信息

    目录结构总图

    [root@localhost hadoop-2.6.0]# ll

    total 52

    drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 bin

    drwxr-xr-x. 3 20000 20000  4096 Nov 13 13:20 etc

    drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 include

    drwxr-xr-x. 3 20000 20000  4096 Nov 13 13:20 lib

    drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 libexec

    -rw-r--r--. 1 20000 20000 15429 Nov 13 13:20 LICENSE.txt

    -rw-r--r--. 1 20000 20000   101 Nov 13 13:20 NOTICE.txt

    -rw-r--r--. 1 20000 20000  1366 Nov 13 13:20 README.txt

    drwxr-xr-x. 2 20000 20000  4096 Nov 13 13:20 sbin

    drwxr-xr-x. 4 20000 20000  4096 Nov 13 13:20 share

    bin目录结构

    [root@localhost hadoop-2.6.0]# cd bin

    [root@localhost bin]# ll

    total 440

    -rwxr-xr-x. 1 20000 20000 159183 Nov 13 13:20 container-executor

    -rwxr-xr-x. 1 20000 20000   5479 Nov 13 13:20 hadoop

    -rwxr-xr-x. 1 20000 20000   8298 Nov 13 13:20 hadoop.cmd

    -rwxr-xr-x. 1 20000 20000  11142 Nov 13 13:20 hdfs

    -rwxr-xr-x. 1 20000 20000   6923 Nov 13 13:20 hdfs.cmd

    -rwxr-xr-x. 1 20000 20000   5205 Nov 13 13:20 mapred

    -rwxr-xr-x. 1 20000 20000   5949 Nov 13 13:20 mapred.cmd

    -rwxr-xr-x. 1 20000 20000   1776 Nov 13 13:20 rcc

    -rwxr-xr-x. 1 20000 20000 201659 Nov 13 13:20 test-container-executor

    -rwxr-xr-x. 1 20000 20000  11380 Nov 13 13:20 yarn

    -rwxr-xr-x. 1 20000 20000  10895 Nov 13 13:20 yarn.cmd

    文件存放了hadoop，hdfs，mapred的命令，从cmd可以看出支持windows。

    sbin的目录结构

    [root@localhost hadoop-2.6.0]# cd sbin

    [root@localhost sbin]# ll

    total 120

    -rwxr-xr-x. 1 20000 20000 2752 Nov 13 13:20 distribute-exclude.sh

    -rwxr-xr-x. 1 20000 20000 6452 Nov 13 13:20 hadoop-daemon.sh

    -rwxr-xr-x. 1 20000 20000 1360 Nov 13 13:20 hadoop-daemons.sh

    -rwxr-xr-x. 1 20000 20000 1640 Nov 13 13:20 hdfs-config.cmd

    -rwxr-xr-x. 1 20000 20000 1427 Nov 13 13:20 hdfs-config.sh

    -rwxr-xr-x. 1 20000 20000 2291 Nov 13 13:20 httpfs.sh

    -rwxr-xr-x. 1 20000 20000 2059 Nov 13 13:20 kms.sh

    -rwxr-xr-x. 1 20000 20000 4080 Nov 13 13:20 mr-jobhistory-daemon.sh

    -rwxr-xr-x. 1 20000 20000 1648 Nov 13 13:20 refresh-namenodes.sh

    -rwxr-xr-x. 1 20000 20000 2145 Nov 13 13:20 slaves.sh

    -rwxr-xr-x. 1 20000 20000 1779 Nov 13 13:20 start-all.cmd

    -rwxr-xr-x. 1 20000 20000 1471 Nov 13 13:20 start-all.sh

    -rwxr-xr-x. 1 20000 20000 1128 Nov 13 13:20 start-balancer.sh

    -rwxr-xr-x. 1 20000 20000 1401 Nov 13 13:20 start-dfs.cmd

    -rwxr-xr-x. 1 20000 20000 3705 Nov 13 13:20 start-dfs.sh

    -rwxr-xr-x. 1 20000 20000 1357 Nov 13 13:20 start-secure-dns.sh

    -rwxr-xr-x. 1 20000 20000 1571 Nov 13 13:20 start-yarn.cmd

    -rwxr-xr-x. 1 20000 20000 1347 Nov 13 13:20 start-yarn.sh

    -rwxr-xr-x. 1 20000 20000 1770 Nov 13 13:20 stop-all.cmd

    -rwxr-xr-x. 1 20000 20000 1462 Nov 13 13:20 stop-all.sh

    -rwxr-xr-x. 1 20000 20000 1179 Nov 13 13:20 stop-balancer.sh

    -rwxr-xr-x. 1 20000 20000 1455 Nov 13 13:20 stop-dfs.cmd

    -rwxr-xr-x. 1 20000 20000 3206 Nov 13 13:20 stop-dfs.sh

    -rwxr-xr-x. 1 20000 20000 1340 Nov 13 13:20 stop-secure-dns.sh

    -rwxr-xr-x. 1 20000 20000 1642 Nov 13 13:20 stop-yarn.cmd

    -rwxr-xr-x. 1 20000 20000 1340 Nov 13 13:20 stop-yarn.sh

    -rwxr-xr-x. 1 20000 20000 4295 Nov 13 13:20 yarn-daemon.sh

    -rwxr-xr-x. 1 20000 20000 1353 Nov 13 13:20 yarn-daemons.sh

    各种启动和停止的命令。

    Hadoop配置文件所在目录

    [root@localhost hadoop]# ll

    total 152

    -rw-r--r--. 1 20000 20000  4436 Nov 13 13:20 capacity-scheduler.xml

    -rw-r--r--. 1 20000 20000  1335 Nov 13 13:20 configuration.xsl

    -rw-r--r--. 1 20000 20000   318 Nov 13 13:20 container-executor.cfg

    -rw-r--r--. 1 20000 20000   774 Nov 13 13:20 core-site.xml

    -rw-r--r--. 1 20000 20000  3670 Nov 13 13:20 hadoop-env.cmd

    -rw-r--r--. 1 20000 20000  4224 Nov 13 13:20 hadoop-env.sh

    -rw-r--r--. 1 20000 20000  2598 Nov 13 13:20 hadoop-metrics2.properties

    -rw-r--r--. 1 20000 20000  2490 Nov 13 13:20 hadoop-metrics.properties

    -rw-r--r--. 1 20000 20000  9683 Nov 13 13:20 hadoop-policy.xml

    -rw-r--r--. 1 20000 20000   775 Nov 13 13:20 hdfs-site.xml

    -rw-r--r--. 1 20000 20000  1449 Nov 13 13:20 httpfs-env.sh

    -rw-r--r--. 1 20000 20000  1657 Nov 13 13:20 httpfs-log4j.properties

    -rw-r--r--. 1 20000 20000    21 Nov 13 13:20 httpfs-signature.secret

    -rw-r--r--. 1 20000 20000   620 Nov 13 13:20 httpfs-site.xml

    -rw-r--r--. 1 20000 20000  3523 Nov 13 13:20 kms-acls.xml

    -rw-r--r--. 1 20000 20000  1325 Nov 13 13:20 kms-env.sh

    -rw-r--r--. 1 20000 20000  1631 Nov 13 13:20 kms-log4j.properties

    -rw-r--r--. 1 20000 20000  5511 Nov 13 13:20 kms-site.xml

    -rw-r--r--. 1 20000 20000 11291 Nov 13 13:20 log4j.properties

    -rw-r--r--. 1 20000 20000   938 Nov 13 13:20 mapred-env.cmd

    -rw-r--r--. 1 20000 20000  1383 Nov 13 13:20 mapred-env.sh

    -rw-r--r--. 1 20000 20000  4113 Nov 13 13:20 mapred-queues.xml.template

    -rw-r--r--. 1 20000 20000   758 Nov 13 13:20 mapred-site.xml.template

    -rw-r--r--. 1 20000 20000    10 Nov 13 13:20 slaves

    -rw-r--r--. 1 20000 20000  2316 Nov 13 13:20 ssl-client.xml.example

    -rw-r--r--. 1 20000 20000  2268 Nov 13 13:20 ssl-server.xml.example

    -rw-r--r--. 1 20000 20000  2237 Nov 13 13:20 yarn-env.cmd

    -rw-r--r--. 1 20000 20000  4567 Nov 13 13:20 yarn-env.sh

    -rw-r--r--. 1 20000 20000   690 Nov 13 13:20 yarn-site.xml

    [root@localhost hadoop]# pwd

    /home/app/hadoop-2.6.0/etc/Hadoop   hadoop配置文件所在的路径

    本地库路径

    [root@localhost lib]# cd native/

    [root@localhost native]# ll

    total 4912

    -rw-r--r--. 1 20000 20000 1380212 Nov 13 13:20 libhadoop.a

    -rw-r--r--. 1 20000 20000 1634592 Nov 13 13:20 libhadooppipes.a

    lrwxrwxrwx. 1 20000 20000      18 Feb 28 08:41 libhadoop.so -> libhadoop.so.1.0.0

    -rwxr-xr-x. 1 20000 20000  805999 Nov 13 13:20 libhadoop.so.1.0.0

    -rw-r--r--. 1 20000 20000  476666 Nov 13 13:20 libhadooputils.a

    -rw-r--r--. 1 20000 20000  440498 Nov 13 13:20 libhdfs.a

    lrwxrwxrwx. 1 20000 20000      16 Feb 28 08:41 libhdfs.so -> libhdfs.so.0.0.0

    -rwxr-xr-x. 1 20000 20000  278622 Nov 13 13:20 libhdfs.so.0.0.0

    [root@localhost native]# pwd

    /home/app/hadoop-2.6.0/lib/native

    Lib下的native为本地库，hadoop编译时需要的本地库，例如编译c++等。

    jar包的目录

    [root@localhost share]# cd hadoop/

    [root@localhost hadoop]# ll

    total 28

    drwxr-xr-x. 6 20000 20000 4096 Nov 13 13:20 common

    drwxr-xr-x. 7 20000 20000 4096 Nov 13 13:20 hdfs

    drwxr-xr-x. 3 20000 20000 4096 Nov 13 13:20 httpfs

    drwxr-xr-x. 3 20000 20000 4096 Nov 13 13:20 kms

    drwxr-xr-x. 5 20000 20000 4096 Nov 13 13:20 mapreduce

    drwxr-xr-x. 5 20000 20000 4096 Nov 13 13:20 tools

    drwxr-xr-x. 5 20000 20000 4096 Nov 13 13:20 yarn

    [root@localhost hadoop]# pwd

    /home/app/hadoop-2.6.0/share/Hadoop

    Hadoop的目录下有hdfs文件夹，该文件夹下面是支持hdfs运行的jar包

    [root@localhost hadoop]# cd hdfs

    [root@localhost hdfs]# ll

    total 10716

    -rw-r--r--. 1 20000 20000 7822669 Nov 13 13:20 hadoop-hdfs-2.6.0.jar

    -rw-r--r--. 1 20000 20000 3029378 Nov 13 13:20 hadoop-hdfs-2.6.0-tests.jar

    -rw-r--r--. 1 20000 20000   95211 Nov 13 13:20 hadoop-hdfs-nfs-2.6.0.jar

    drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 jdiff

    drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 lib

    drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 sources

    drwxr-xr-x. 2 20000 20000    4096 Nov 13 13:20 templates

    drwxr-xr-x. 7 20000 20000    4096 Nov 13 13:20 webapps

    本文来自博客园，作者：秋华，转载请注明原文链接：https://www.cnblogs.com/qiu-hua/p/13373062.html
  • 相关阅读:
    重定向是否可以重定向到post接口
    ForkJoin(工作窃取)初步使用，计算偶数集合
    Dubbo服务的三种发布模式
    mysql开启慢查询日志
    Hashmap的结构，1.7和1.8有哪些区别
    idea回滚已经push的代码
    rabbitmq集群安装配置
    restful好处，表单提交put/delete
    BIO/NIO/AIO待完成
    判断一个对象是否可以被回收
  • 原文地址：https://www.cnblogs.com/qiu-hua/p/13373062.html
Copyright © 2011-2022 走看看