zoukankan      html  css  js  c++  java
  • YARN分析系列之二 -- Hadoop YARN各个自模块说明

      先做如下声明,本代码版本是基于 3.1.2 版本。

      其实,我们自己在写代码的时候,会有意识地将比较大的功能项独立成包,独立成module, 独立成项目,项目之间的关系既容易阅读理解,又便于管理。

      如下,是hadoop-yarn-project的module截图: 

      Hadoop YARN 的大部分功能在 hadoop-yarn-project module 下,现将该module下各个module 的功能做一个大致的说明【顺序按上面截图自上而下】:

      hadoop-yarn-api:YARN的跨平台外部接口。定义了 公共的 Application Master 的拦截器、相关资源的API、YARN服务以及通信过程中用到的records类以及相关的工具类、相关异常、

      hadoop-yarn-application:其下包含了5个module, 分别是 

        hadoop-yarn-applications-catalog:YARN应用程序catalog是用于在Hadoop上部署支持docker的云应用程序的应用程序catalog。简言之,这部分是 对docker 的支持的catalog

        hadoop-yarn-applications-distributedshell:对分布式运行脚本的支持

        hadoop-yarn-applications-unmanaged-am-launcher:UnmanagedLauncher是一个启动和非托管AM的简单客户端。非托管AM是由RM未启动和管理的AM。客户端在RM上创建新应用程序并协商新的attempt ID。然后等待RM应用程序状态到达YarnApplicationState.ACCEPTED,之后它在另一个进程中生成AM并通过env变量Environment.CONTAINER_ID将容器ID传递给它。 AM可以使用任何语言。 AM可以使用从容器ID获得的尝试ID向RM注册并正常进行。客户端将app stdout和stderr重定向到自己的stdout和stderr,并等待AM进程退出。然后它等待RM报告应用程序完成。

        hadoop-yarn-services:包含两个module,hadoop-yarn-services-api 提供了YARN 服务的客户端API、以及用于YARN 服务的 API;hadoop-yarn-services-core 提供了 yarn 服务的框架

      hadoop-yarn-client:hadoop yarn 的客户端 API 以及 相关工具类支持

      hadoop-yarn-common:hadoop yarn 的client和 server 的 公用工具类库,定义了一些用于网络传输的 pb实现的record以及创建records 的工厂,事件的分发器、ipc、日志汇集相关的支持、Node的label的支持、和对安全的支持、sharedcache 的checksum的校验、状态机的定义、图的定义以及 web 前端的支持等。

      hadoop-yarn-registry:现在该部分功能已经迁移到 hadoop-common-project module 下的 hadoop-registry module 下面,主要功能是负责 hadoop Service 的注册,包括服务注册的命令行工具类org.apache.hadoop.registry.cli.RegistryCli;YARN client注册的API,注册绑定的工具类、定义了注册服务过程的异常、以及 Curator 和 Zookeeper 对 服务发现绑定的 支持、DNS Server的创建来帮助服务发现或者YARN 应用,以及和 RM 的集成,以及服务端为YARN 提供服务注册的基础服务等。

      hadoop-yarn-server module下包含了如下模块【下面模块中以 hadoop-yarn-server开头的module】:

      hadoop-yarn-server-applicationhistoryservice:applicationhistoryservice 服务

      hadoop-yarn-server-common:nodemanager 和 resourcemanager 的共享 API

      hadoop-yarn-server-nodemanager: nodemanager 服务,替代了 hadoop的TaskTracker

      hadoop-yarn-server-resourcemanager: resourcemanager 服务, 替代了 hadoop的JobTracker

      hadoop-yarn-server-router:hadoop yarn的 router 服务

      hadoop-yarn-server-sharedcachemanager:sharedcache 服务

      hadoop-yarn-server-tests:这个是一个测试的module主要对 hadoop-yarn-server module下的各个module的测试

      hadoop-yarn-server-timeline-pluginstorage:timeline-pluginstorage,请求查询映射到缓存的接口

      hadoop-yarn-server-timelineservice:timelineservice 持久化服务。timelineservice 主要负责两种持久化服务:

      hadoop-yarn-server-timelineservice-hbase:使用hbase 作为 timelineservice 的底层持久化介质的接口

      hadoop-yarn-server-timelineservice-hbase-tests:timelineservice-hbase 的测试类

      hadoop-yarn-server-web-proxy:hadoop yarn server的web proxy

      hadoop-yarn-site:关于 hadoop yarn 的一些关键的概念架构和相关术语的解释

      hadoop-yarn-ui:yarn前端UI

      注:以上各个模块的功能只是简单根据module 包说明做的简单汇总说明,可能概括的不是很准确,后面写到具体模块时,会同步更新对应module 的功能概述。

  • 相关阅读:
    转职游戏策划第四周
    转职游戏策划第三周
    HTML表单验证库SMValidator
    win7通过easyBCD引导ubuntu
    SWF混淆工具(智能提取需要混淆的字段)
    图文混排组件(RichTextField)
    windows下gvim使用vundle插件
    AirMVC
    再战中原之地图编辑器
    再战中原之菜单系统
  • 原文地址:https://www.cnblogs.com/johnny666888/p/11042461.html
Copyright © 2011-2022 走看看