zoukankan      html  css  js  c++  java
  • Hadoop源码研究笔记20120725主要组成包

    HADOOP API 主要组成包
    1、org.apache.hadoop.conf
    源码路径:   \src\core\org\apache\hadoop\conf
    作用:定义了系统参数的配置文件处理API

    2、org.apache.hadoop.fs   
    源码路径:  \src\core\org\apache\hadoop\fs
    作用:定义了抽象的文件系统API

    3、org.apache.hadoop.hdfs 
    源码路径:  \src\hdfs\org\apache\hadoop\hdfs
    作用:分布式文件系统的模块实现

    4、org.apache.hadoop.io   
    源码路径   \src\core\org\apache\hadoop\io
    作用:定义了通用的I/O API,用于针对网络,数据库,文件等数据对象做读写操作

    5、org.apache.hadoop.ipc   
    源码路径  \src\core\org\apache\hadoop\ipc
    作用:用于网络服务端和客户端的工具,封装了网络异步I/O的基础模块

    6、org.apache.hadoop.mapred
    源码路径   \src\mapred\org\apache\hadoop\mapred
    作用:MapReduce模块的实现,包括任务的分发调度

    7、org.apache.hadoop.mapreduce
    源码路径  \src\mapred\org\apache\hadoop\mapreduce
    作用:

    8、org.apache.hadoop.metrics 
    源码路径     \src\core\org\apache\hadoop\metrics
    作用:定义了用于性能统计信息的API,主要用于mapred和dfs模块

    9、org.apache.hadoop.record  
    源码路径   \src\core\org\apache\hadoop\record

    10、org.apache.hadoop.tools   
    源码路径   \src\tools\org\apache\hadoop\tools
    作用:定义了通用的工具

    11、org.apache.hadoop.util
    源码路径        \src\core\org\apache\hadoop\util
    作用:定义了公用的API

    12、org.apache.hadoop.filecache
    源码路径 \src\core\org\apache\hadoop\filecache
    作用:提供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度

    13、org.apache.hadoop.net
    源码路径 \src\core\org\apache\hadoop\net
    作用:封装部份网络功能,如DNS,SOCKET

    14、org.apache.hadoop.security
    源码路径 \src\core\org\apache\hadoop\security
    作用:用户和用户组信息

    15、org.apache.hadoop.http
    源码路径 \src\core\org\apache\hadoop\http
    作用:基于jetty的http servlet,用户通过浏览器可以观察文件系统的一些状态信息和日志

    16、org.apache.hadoop.log
    源码路径 \src\core\org\apache\hadoop\log
    作用:提供http访问日志的http servlet

  • 相关阅读:
    git线上操作
    IDEA快捷方式
    Java 四种线程池
    java 获取当前天之后或之前7天日期
    如何理解AWS 网络,如何创建一个多层安全网络架构
    申请 Let's Encrypt 通配符 HTTPS 证书
    GCE 部署 ELK 7.1可视化分析 nginx
    使用 bash 脚本把 AWS EC2 数据备份到 S3
    使用 bash 脚本把 GCE 的数据备份到 GCS
    nginx 配置 https 并强制跳转(lnmp一键安装包)
  • 原文地址:https://www.cnblogs.com/bobsoft/p/2714488.html
Copyright © 2011-2022 走看看