zoukankan      html  css  js  c++  java
  • Hadoop的包的功能分析

    hadoop源码中有很多package,以下对比较重要的package进行说明:

      package            说明

      tool              提供命令行工具,入distcp(集群间复制数据)、archive(打包归档)

      mapreduce           Map/Reduce实现

      filecache            提供hdfs的本地缓存,提高读取速度

      fs               抽象文件系统,提供统一访问接口

      hdfs               分布式文件系统实现

      ipc               节点间通信

      io               表现层,将数据编码、解码,序列化

      net               网络功能

      security            用户和用户组信息

      conf              系统配置参数

      metrics             信息收集,由于监控

      util               工具类

      record              根据DDL自动生成它们的编解码函数

      http              基于jetty(web容器)的程序,方便通过web查看文件系统状态和任务状态

      log               日志收集和backup

  • 相关阅读:
    efwplus框架
    注册区域
    社招面试记录与总结
    验证码 Captcha 之大插件
    发生内存泄漏?
    Flume+LOG4J+Kafka
    协议如何保证可靠传输
    oracle之spool详细使用总结(转)
    SSH协议详解(转)
    oracle nologging用法(转)
  • 原文地址:https://www.cnblogs.com/frady/p/2704658.html
Copyright © 2011-2022 走看看