1. 简介
YARN是一个通用资源管理和调度平台 ，可为上层应用提供统一的资源管理和调度。
ResourceManager -----> 负责所有资源的监控、分配和管理
NodeManager -----> 负责自身节点的维护
ApplicationMaster -----> 负责每一个具体应用程序的调度和协调
提交作业的流程简述：
步骤一、用户向YARN提交应用程序，其中包括Application程序、启动ApplicationMaster的命令、用户程序等。
步骤二、ResourceManager为该应用程序分配第一个container，并与对应的NodeManager通讯，要求它在这个Container中启动应用程序的ApplicationMaster。
步骤三、ApplicationMaster首先向ResourceManager注册，启动成功后与 RM 保持心跳。用户可以通过ResourceManager查看应用状态，然后为各个任务申请资源，并监控他的运行状态，直至运行结束，重复4~7.
步骤四、ApplicationMaster采用轮询方式通过RPC协议向ResourceManager申请和领取资源。
步骤五、ApplicationMaster申请到资源后，便与对应的NodeManager通讯，要求启动任务。
步骤六、NodeManager为任务设置好运行环境（包含环境变量、JAR包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过该脚本启动任务。
步骤七、各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度，以让ApplicationMaster随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务。在应用程序运行过程中，用户可以随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。
步骤八、应用程序运行完成后，ApplicationMaster向ResourceManager注销并关闭自己。
2. Yarn 基本架构
2.1 ResourceManager
- ResourceManager 负责整个集群的资源管理和分配，是一个全局的资源管理系统。
- NodeManager 以心跳的方式向 ResourceManager 汇报资源使用情况（目前主要是 CPU 和内存的使用情况）。 RM 只接受 NM 的资源回报信息，对于具体的资源处理则交给 NM自己处理。
-
YARN Scheduler 根据 application 的请求为其分配资源，不负责 application job 的监控、追踪、运行状态反馈、启动等工作。
2.2 NodeManager
- NodeManager 是每个节点上的资源和任务管理器，负责该节点程序的运行，以及该节点资源的管理和监控 。
- NodeManager 定时向 ResourceManager 汇报本节点资源的使用情况和Container 的运行状态。
- NodeManager 接收并处理来自 ApplicationMaster 的 Container 启动、停止等各种请求。
2.3 ApplicationMaster
- 负责与RM 调度器协商以获取资源。
- 与 NM 通信以启动 停止任务。
- 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。
注：
RM 只负责监控 AM ，并在 AM 运行失败时候启动它。 RM 不负责 AM 内部任务的容错，任务的容错由 AM 完成。
3. Yarn 通讯流程
3.1、client → ResourceManager
步骤1：client通过RPC函数ApplicationClientProtocol#getNewApplicention从ResourceManager获取applicationID和最大可申请资源量。
步骤2：client通过RPC函数ApplicationClientProtocol#submitApplication 将ApplicationMaster提交到ResourcesManager上。
｛ application_id, application_name, queue, user, am_container_spec[ user、resource(cpu内存)、 localResources(外部文件)、 command(启动命令shell)、 environment(环境变量) ] ｝ |
3.2 ApplicationMaster → ResourcesManager
步骤1：ApplicationMaster通过RPC函数ApplicationMasterProtocol#registerApplicationMaster向ResourceManager注册。
{
host(本次启动节点的host),
rpc_port(app本次启动对外的RPC端口号),
tracking_url(appmster对外提供的追踪weburl),
}
|
一旦ApplicationMaster注册成功ResourceManager会为他返回一个RegisterApplicationMasterResponce类型的返回值，该对象包含应用程序可申请的最大资源、应用程序访问控制列表等信息。
｛ maximumCapability(最大可申请单个container占用的资源量), client_to_am_token_master_key(), application_ACLs:应用程序访问控制列表 ｝ |
步骤2：ApplicationMaster通过RPC函数ApplicationMasterProtocol#allocate向ResourceManager申请资源（以Container表示）。
｛ ask:ApplicationMaster请求的资源列表: [ priority:资源优先级， resource_name:期望资源所在节点， capability:所需的资源量 cpu内存， num_containers:需要满足条件的资源数目， relax_locality:是否松弛本地性 ]， release:ApplicationMaster释放的container列表， response_id:本次通讯应答id每次+1， progress:应用程序执行进度， blacklist_request:请求加入/移除黑名单节点列表 ｝ |
ApplicationMaster每次调用ApplicationMasterProtocol#allocate后，会收到Allocate-Response类型的返回值
｛ a_m_command:am需要执行的命令，目前包含AM_RESYNC和AM_SHUTDOWN鞭尸重启和关闭；当ResourceManager重启或应用程序信息状态不一致会重启，到节点出于黑名单可能关闭 response_id:本次通讯应答ID，每次+1 allocate_container:分配给应用程序的container列表。am收到一个container会在这个运行一个任务 completed_containerstatuser:完成container状态列表。该列表中的container所处的状态可能是运行成功、失败、被杀 limit:目前集群可用的资源总量 updated_nodes:当前集群所有节点运行状态列表 num_cluster_nodes:当前集群可用节点总数 preempt:资源抢占信息。当ResourceManager将要抢占某个应用程序资源时，会提前发送一个资源列表让ApplicationMaster主动释放这些资源，如果ApplicationMaster在一定时间内未释放资源将强制回收.[ strictContract:必须释放的container列表 contract:它包含资源总量和container列表 ] nm_tokens(nodemanager token) ｝ |
步骤3：ApplicationMaster通过RPC函数ApplicationMasterProtocol#finishApplicationMaster告诉ResourceManager应用程序执行完毕并退出。当ApplicationMaster运行完毕后，会调用ApplicationMasterProtocol#finishApplicationMaster通知ResourceManager，该RPC函数的参数类型为FinishApplicationMasterRequest如要包含以下字段。
｛ diagnosis:诊断信息。当ApplicationMaster运行失败时，会记录错误原因以便于后期诊断。 tracking_url:ApplicationMaster对外提供的追踪WebURL。 final_application_status:ApplicationMaster最终所处状态。APP_UNDEFINED(未定义)、APP_SUCCEEDED(运行成功)、APP_FAILED(运行失败)、APP_KILLED(被杀死) ｝ |
成功执行该RPC函数后，ApplicationMaster将收到一个FinishApplicationMasterResponse类型的返回值，目前没有任何信息。
ApplicationMaster将重复步骤2，不断为应用程序申请资源，直到资源得到满足或者整个应用程序运行完成。
3.3ApplicationMaster → NodeManager
步骤1：ApplicationMaster将申请到的资源二次分配给内部的任务，并通过RPC函数ContainerManagementProtocol#startContainer与对应的NodeManager通讯以启动Container（包含任务描述、资源描述等信息），该函数的参数类型startContainerRequest，主要包含一个类型为startContainerRequest的字段。
｛ container_launch_context：封装了Container执行环境，主要是以下字段。 [ localResource:container执行所需的本地资源，如字典文件、JAR包或可执行文件等，以keyvalue格式保存。 tokens:container执行所需的各种Token service_data:附属服务所需的数据，以keyvlalue格式保存 environment:Container所需的执行环境变量，以keyvalue格式保存 command：Container执行命令，需要是一条Shell命令。 application_ACLs:应用程序访问控制列表，以keyvalue格式保存。 ] container_token:container启动时的安全令牌 ｝ |
ContainerManagementProtocol#srartContainer执行成功后，会收到一个StartContainersResponse类型的返回值，包含以下字段：
｛ services_meta_data:附属服务返回的元数据信息。 succeeded_requests:成功运行的Container列表。 failed_requests:运行失败的Container列表 ｝ |
步骤2：为了事先掌握各个Container运行状态，ApplicationMaster可通过RPC函数ContainerManagementProtocol#getContainerStatus向NodeManager询问Container运行状态，一旦发现某个Container运行失败，ApplicationMaster可尝试重新为对应的任务申请资源
步骤3：一旦一个Container运行完成后，ApplicationMaster可通过RPC函数ContainerManagementProtocol#stopContainer释放Container。注意YARN是一个资源管理系统，它不仅负责分配资源，还负责回收资源。当一个Container运行完成后，它会主动确认Container是否将对应的资源释放了，也就是说任何一个Container运行结束后（此时Container可能已经退出且释放资源），ApplicationMaster必须调用RPC函数ContainerManagementProtocol#stopContainer释放Container（确保资源真的释放）。