zoukankan      html  css  js  c++  java
  • hadoop学习笔记(四):hadoop文件结构

    hadoop学习笔记(四):hadoop文件结构

    阅读目录

    回到顶部

    hadoop完整安装目录结构:

    比较重要的包有以下4个:

    src

    hadoop源码包。最核心的代码所在目录为core、hdfs和mapred,他们分别实现了hadoop最重要的3个模块:基础公共库、HDFS实现和MapReduce实现

    conf

    配置文件所在目录。hadoop的配置文件较多,其设计原则可概括为以下两点:

      1 尽可能模块化,即每个重要模块拥有自己的配置文件,这样使得维护及管理变得简单。

      2 动静分离,即将可动态加载的配置选项剥离出来,组成独立配置文件。比如 hadoop1.0.0版本之前,作业队列权限管理相关的配置选项被放在配置文件mapred-site.xml中,而该文件是不可以动态加载的,每次修改后必须重启MapReduce。但从1.0.0版本开始,这些配置选项被剥离放到独立配置文件mapred-queue-acls.xml中,该文件可以通过hadoop命令进行动态加载。

    lib

    hadoop运行时依赖的第三方包,包括编译好的jar以及其他语言生成的动态库。hadoop启动或者用户提交作业时,会自动加载这些库。

    bin

     shell启动脚本文件夹。

  • 相关阅读:
    网页显示UIWebView(一个)
    借百度数据,建立你自己的程序
    引水数据--紧凑
    Unity3d 实时折射和反射
    snmp监控磁盘
    Linux snmp监控
    20监控工具
    Java 四舍五入
    Oracle主键操作
    SnmpTrap
  • 原文地址:https://www.cnblogs.com/hzcya1995/p/13313308.html
Copyright © 2011-2022 走看看