zoukankan      html  css  js  c++  java
  • hadoop2.7的目录结构

    1.$HADOOP_HOME/bin目录下文件及作用

    文件名称 说明
    hadoop 用于执行hadoop脚本命令,被hadoop-daemon.sh调用执行,也可以单独执行,一切命令的核心

    2.$HADOOP_HOME/sbin目录下文件及作用

    文件名称 说明
    hadoop-daemon.sh

    通过执行hadoop命令来启动/停止一个守护进程(daemon);该命令会被bin目录下面所有以start或stop开头的所有命令调用来执行命令,

    hadoop-daemons.sh也是通过调用hadoop-daemon.sh来执行命令的,而hadoop-daemon.sh本身就是通过调用hadoop命令来执行任务。

    start-all.sh 全部启动,它会调用start-dfs.sh及start-mapred.sh
    start-dfs.sh 启动NameNode、DataNode以及SecondaryNameNode
    start-mapred.sh 启动MapReduce
    stop-all.sh 全部停止,它会调用stop-dfs.sh及stop-mapred.sh
    stop-balancer.sh 停止balancer
    stop-dfs.sh 停止NameNode、DataNode及SecondaryNameNode
    stop-mapred.sh  停止MapReduce

    3.$HADOOP_HOME/etc/hadoop目录下文件及作用

    文件名称 说明
    core-site.xml

    Hadoop核心全局配置文件,可以其他配置文件中引用该文件中定义的属性,如在hdfs-site.xml及mapred-site.xml中会引用该文件的属性;

    该文件的模板文件存在于$HADOOP_HOME/src/core/core-default.xml,可将模板文件复制到conf目录,再进行修改。

    hadoop-env.sh Hadoop环境变量
    hdfs-site.xml HDFS配置文件,该模板的属性继承于core-site.xml;该文件的模板文件存于$HADOOP_HOME/src/hdfs/hdfs-default.xml,可将模板文件复制到conf目录,再进行修改
    mapred-site.xml

    MapReduce的配置文件,该模板的属性继承于core-site.xml;该文件的模板文件存于$HADOOP_HOME/src/mapred/mapredd-default.xml,

    可将模板文件复制到conf目录,再进行修改

    slaves 用于设置所有的slave的名称或IP,每行存放一个。如果是名称,那么设置的slave名称必须在/etc/hosts有IP映射配置

    4.$HADOOP_HOME/lib目录

    该目录下存放的是Hadoop运行时依赖的jar包,Hadoop在执行时会把lib目录下面的jar全部加到classpath中。

    5.$HADOOP_HOME/logs目录

    该目录存放的是Hadoop运行的日志,查看日志对寻找Hadoop运行错误非常有帮助。

    6.$HADOOP_HOME/include目录
    对外提供的编程库头文件(具体动态库和静态库在lib目录中),这些头文件均是用C++定义的,通常用于C++程序访问HDFS或者编写MapReduce程序。
    7.$HADOOP_HOME/libexec目录
    各个服务对用的shell配置文件所在的目录,可用于配置日志输出、启动参数(比如JVM参数)等基本信息。
    8.$HADOOP_HOME/share目录
    Hadoop各个模块编译后的jar包所在的目录。

  • 相关阅读:
    ps -aux --sort -rss |head 列出进程拿物理内存占用排序 使用ps aux 查看系统进程时,第六列即 RSS列显示的就是进程使用的物理内存。
    13 memcache服务检查
    shell 颜色
    expr判断整数是相加的值,返回命令的返回值$? 是0,但是少数情况是1,例如1 + -1 ,$? 的结果是1 ,判断要大于1最准确
    ZABBIX监控原理
    ansible分发密钥
    再来一个expect脚本
    11:菜单自动化软件部署经典案例
    19:批量检查多个网站地址是否正常
    数组迭代
  • 原文地址:https://www.cnblogs.com/web424/p/7506377.html
Copyright © 2011-2022 走看看