zoukankan      html  css  js  c++  java
  • Hadoop的包的功能分析

    hadoop源码中有很多package,以下对比较重要的package进行说明:

      package            说明

      tool              提供命令行工具,入distcp(集群间复制数据)、archive(打包归档)

      mapreduce           Map/Reduce实现

      filecache            提供hdfs的本地缓存,提高读取速度

      fs               抽象文件系统,提供统一访问接口

      hdfs               分布式文件系统实现

      ipc               节点间通信

      io               表现层,将数据编码、解码,序列化

      net               网络功能

      security            用户和用户组信息

      conf              系统配置参数

      metrics             信息收集,由于监控

      util               工具类

      record              根据DDL自动生成它们的编解码函数

      http              基于jetty(web容器)的程序,方便通过web查看文件系统状态和任务状态

      log               日志收集和backup

  • 相关阅读:
    Gradle gitignore Gradle 模式 上传SVN 要忽略的文件
    加速Android Studio/Gradle构建
    JAVA unicode转换成中文
    进程与线程
    Flask快速入门
    tensorflow入门指南
    BP神经网络与Python实现
    文档数据库MongoDB
    Python虚拟环境virtualenv
    Python爬虫框架Scrapy
  • 原文地址:https://www.cnblogs.com/frady/p/2704658.html
Copyright © 2011-2022 走看看