zoukankan      html  css  js  c++  java
  • Hadoop源代码分析(二)

    下面给出了Hadoop的包的功能分析。

    Package

    Dependences

    tool

    提供一些命令行工具,如DistCp,archive

    mapreduce

    Hadoop的Map/Reduce实现

    filecache

    供HDFS文件的本地缓存,用于加快Map/Reduce的数据访问速度

    fs

    文件系统的抽象,可以理解为支持多种文件系统实现的统一文件访问接口

    hdfs

    HDFS,Hadoop的分布式文件系统实现

    ipc

    一个简单的IPC的实现,依赖于io提供的编解码功能

    参考:http://zhangyu8374.iteye.com/blog/86306

    io

    表示层。将各种数据编码/解码,方便于在网络上传输

    net

    封装部分网络功能,如DNS,socket

    security

    用户和用户组信息

    conf

    系统的配置参数

    metrics

    系统统计数据的收集,属于网管范畴

    util

    工具类

    record

    根据DDL(数据描述语言)自动生成他们的编解码函数,目前可以提供C++和Java

    http

    基于Jetty的HTTP Servlet,用户通过浏览器可以观察文件系统的一些状态信息和日志

    log

    提供HTTP访问日志的HTTP Servlet

  • 相关阅读:
    ubuntu十年
    国内开源镜像站
    vi 配置文件
    如何查看Linux命令源代码
    gedit乱码问题的解决
    Linux启动项修复
    我写新年愿望
    SEGGER J-Link 弹窗 在altium designer中禁用USBJATG
    线缆测试,手机端程序说明
    养兔场 网站上的个人介绍
  • 原文地址:https://www.cnblogs.com/itgg168/p/2782406.html
Copyright © 2011-2022 走看看