zoukankan      html  css  js  c++  java
  • Hadoop源码研究笔记20120725主要组成包

    HADOOP API 主要组成包
    1、org.apache.hadoop.conf
    源码路径:   \src\core\org\apache\hadoop\conf
    作用:定义了系统参数的配置文件处理API

    2、org.apache.hadoop.fs   
    源码路径:  \src\core\org\apache\hadoop\fs
    作用:定义了抽象的文件系统API

    3、org.apache.hadoop.hdfs 
    源码路径:  \src\hdfs\org\apache\hadoop\hdfs
    作用:分布式文件系统的模块实现

    4、org.apache.hadoop.io   
    源码路径   \src\core\org\apache\hadoop\io
    作用:定义了通用的I/O API,用于针对网络,数据库,文件等数据对象做读写操作

    5、org.apache.hadoop.ipc   
    源码路径  \src\core\org\apache\hadoop\ipc
    作用:用于网络服务端和客户端的工具,封装了网络异步I/O的基础模块

    6、org.apache.hadoop.mapred
    源码路径   \src\mapred\org\apache\hadoop\mapred
    作用:MapReduce模块的实现,包括任务的分发调度

    7、org.apache.hadoop.mapreduce
    源码路径  \src\mapred\org\apache\hadoop\mapreduce
    作用:

    8、org.apache.hadoop.metrics 
    源码路径     \src\core\org\apache\hadoop\metrics
    作用:定义了用于性能统计信息的API,主要用于mapred和dfs模块

    9、org.apache.hadoop.record  
    源码路径   \src\core\org\apache\hadoop\record

    10、org.apache.hadoop.tools   
    源码路径   \src\tools\org\apache\hadoop\tools
    作用:定义了通用的工具

    11、org.apache.hadoop.util
    源码路径        \src\core\org\apache\hadoop\util
    作用:定义了公用的API

    12、org.apache.hadoop.filecache
    源码路径 \src\core\org\apache\hadoop\filecache
    作用:提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度

    13、org.apache.hadoop.net
    源码路径 \src\core\org\apache\hadoop\net
    作用:封装部份网络功能,如DNS,SOCKET

    14、org.apache.hadoop.security
    源码路径 \src\core\org\apache\hadoop\security
    作用:用户和用户组信息

    15、org.apache.hadoop.http
    源码路径 \src\core\org\apache\hadoop\http
    作用:基于jetty的http servlet,用户通过浏览器可以观察文件系统的一些状态信息和日志

    16、org.apache.hadoop.log
    源码路径 \src\core\org\apache\hadoop\log
    作用:提供http访问日志的http servlet

  • 相关阅读:
    UVALive2678子序列
    UVA11549计算机谜题
    UVA11520填充正方形
    LA3635派
    UVALive3971组装电脑
    记录未完成题目
    SPOJ 6219 Edit distance字符串间编辑距离
    ACM组队安排-——杭电校赛(递推)
    逆袭指数-——杭电校赛(dfs)
    油菜花王国——杭电校赛(并查集)
  • 原文地址:https://www.cnblogs.com/bobsoft/p/2714488.html
Copyright © 2011-2022 走看看