Yarn对外接口

1 概述

Yarn对外接口

https://forum.huawei.com/enterprise/zh/forum.php?mod=viewthread&tid=451687

本文档专供需要对Yarn进行应用开发的用户使用。本指南主要适用于具备Java开发经验的开发人员。

简介

Yarn是一个分布式的资源管理系统，用于提高分布式的集群环境下的资源利用率，这些资源包括内存、IO、网络、磁盘等。其产生的原因是为了解决原MapReduce框架的不足。最初MapReduce的committer还可以周期性的在已有的代码上进行修改，可是随着代码的增加以及原MapReduce框架设计的不足，在原MapReduce框架上进行修改变得越来越困难，所以MapReduce的committer决定从架构上重新设计MapReduce，使下一代的MapReduce(MRv2/Yarn)框架具有更好的扩展性、可用性、可靠性、向后兼容性和更高的资源利用率，以及能支持除了MapReduce计算框架外的更多的计算框架。

基本概念

l   ResourceManager（RM）

RM是一个全局的资源管理器，负责整个系统的资源管理和分配。它主要由两个组件构成：调度器（Scheduler）和应用程序管理器（Applications Manager，ASM）。

l   ApplicationMaster（AM）

用户提交的每个应用程序均包含一个AM，主要功能包括：

−           与RM调度器协商以获取资源（用Container表示）。

−           将得到的资源进一步分配给内部任务。

−           与NM通信以启动/停止任务。

−           监控所有任务的运行状态，并在任务运行失败时重新为任务申请资源以重启任务。

l   NodeManager（NM）

NM是每个节点上的资源和任务管理器，一方面，它会定时地向RM汇报本节点上的资源使用情况和各个Container的运行状态；另一方面，它会接收并处理来自AM的Container启动/停止等各种请求。

l   Container

Container是YARN中的资源抽象，它封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示的。

2 对外接口

2.1 Command

您可以使用YARN Commands对YARN集群进行一些操作，例如启动ResourceManager、提交应用程序、中止应用、查询节点状态、下载container日志等操作。

完整和详细的Command描述可以参考官网文档：http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YarnCommands.html。

常用Command

YARN Commands可同时供普通用户和管理员用户使用，它包含了少量普通用户可以执行的命令，比如jar、logs。而大部分只有管理员有权限使用。

用户可以通过以下命令查看YARN用法和帮助：

yarn --help

用法：进入Yarn客户端的任意目录，执行source命令导入环境变量，直接运行命令即可。

格式如下所示：

yarn  [--config confdir] COMMAND

其中COMMAND可以为：

表2-1 常用Command描述

COMMAND	描述
resourcemanager	运行一个ResourceManager。 备注：以omm用户执行服务端命令前需export环境变量，例如： l  export YARN_CONF_DIR=/opt/huawei/Bigdata/FusionInsight_HD_ V100R002C80SPC200/1_10_ResourceManager/etc l  export HADOOP_CONF_DIR=/opt/huawei/Bigdata/FusionInsight_HD _V100R002C80SPC 200/1_10_ResourceManager/etc
nodemanager	运行一个NodeManager。 备注：以omm用户执行服务端命令前需export环境变量，例如： l  export YARN_CONF_DIR=/opt/huawei/Bigdata/FusionInsight_HD_ V100R002C80SPC200/1_10_NodeManager/etc l  export HADOOP_CONF_DIR=/opt/huawei/Bigdata/FusionInsight_HD_ V100R002C80SPC200/1_10_NodeManager/etc
Rmadmin	管理员工具（动态更新信息）。
Version	打印版本信息。
jar <jar>	运行jar文件。
Logs	获取container日志。
classpath	打印获取Hadoop JAR包和其他库文件所需的CLASSPATH路径。
daemonlog	获取或者设置服务LOG级别。
CLASSNAME	运行一个名字为CLASSNAME的类。
top	运行集群利用率监控工具。

Superior Scheduler Command

Superior Scheduler引擎提供了输出Superior Scheduler引擎具体信息的CLI。为了执行Superior命令，需要使用“<HADOOP_HOME>/bin/superior”脚本。

以下为superior命令格式：

<HADOOP_HOME>/bin/superior
 
Usage: superior [COMMAND | -help]
   Where COMMAND is one of:
   resourcepool                        prints resource pool status
   queue                               prints queue status
   application                         prints application status
   policy                              prints policy status

不带参数调用大多数命令时会显示帮助信息。

l   Superior resourcepool命令：

该命令显示Resource Pool和相关策略的相关状态以及配置信息。

Superior resourcepool命令仅用于管理员用户及拥有yarn管理权限的用户。

用法输出：

>superior resourcepool
 
Usage: resourcepool [-help]
                    [-list]
                    [-status <resourcepoolname>]
 -help                        prints resource pool usage
 -list                        prints all resource pool summary report
 -status <resourcepoolname>   prints status and configuration of specified
                              resource pool

−           resourcepool -list以表格格式中显示Resource Pool摘要。示例如下：

> superior resourcepool -list
NAME       NUMBER_MEMBER     TOTAL_RESOURCE           AVAILABLE_RESOURCE
Pool1      4                 vcores 30,memory 1000    vcores 21,memory 80
Pool2      100               vcores 100,memory 12800  vcores 30,memory 1000
default    2                 vcores 64,memory 128     vcores 40,memory 28

−           resourcepool -status <resourcepoolname>以列表格式显示资源库详细信息。示例如下：

> superior resourcepool -status default
NAME: default
DESCRIPTION: System generated resource pool
TOTAL_RESOURCE: vcores 64,memory 128
AVAILABLE_RESOURCE: vcores 40,memory 28
NUMBER_MEMBER: 2
MEMBERS: node1,node2
CONFIGURATION:
|-- RESOURCE_SELECT:
|__RESOURCES:

l   Superior queue命令

该命令输出分层队列信息。

用法输出：

>superior queue 
 
Usage: queue [-help]
             [-list] [-e] [[-name <queue_name>] [-r|-c]]
             [-status <queue_name>]
 -c                     only work with -name <queue_name> option. If this
                        option is used, command  will print information of
                        specified queue and its direct children.
 -e                     only work with -list or -list -name option. If
                        this option is used, command will print effective
                        state of specified queue and all of its
                        descendants.
 -help                  prints queue sub command usage
 -list                  prints queue summary report. This option can work
                        with -name <queue_name> and -r options.
 -name <queue_name>     print specified queue, this can work with -r
                        option. By default, it will print queue's own
                        information. When -r is defined, command will
                        print all of its descendant queues. When -c is
                        defined, it will print its direct children queues.
 -r                     only work with -name <queue_name> option. If this
                        option is used, command will print information of
                        specified queue and all of its descendants.
 -status <queue_name>   prints status of specified queue

−           queue -list以表格格式输出队列摘要信息。命令将基于队列分层样式输出信息。用户可通过SUBMIT ACL或ADMIN ACL的队列权限查看队列。示例如下：

> superior queue -list
NAME         STATE            NRUN_APP     NPEND_APP     NRUN_CONTAINER   NPEND_REQUEST    RES_INUSE                 RES_REQUEST
root         OPEN|ACTIVE      10           20            100              200              vcores 100,memory 1000    vcores 200,memory 2000
root.Q1      OPEN|ACTIVE      5            10            50               100              vcores 50,memory 500      vcores 100,memory 1000
root.Q1.Q11  OPEN|ACTIVE      5            10            50               100              vcores 50,memory 500      vcores 100,memory 1000
root.Q1.Q12  CLOSE|INACTIVE   0            0             0                0                vcores 0,memory 0         vcores 0,memory 0
root.Q2      OPEN|INACTIVE    5            10            50               100              vcores 50,memory 500      vcores 100,memory 1000
root.Q2.Q21  OPEN|ACTIVE      5            10            50               100              vcores 50,memory 500      vcores 100,memory 1000

−           queue -list -name root.Q1只输出root.Q1。

> superior queue -list -name root.Q1
NAME            STATE           NRUN_APP     NPEND_APP      NRUN_CONTAINER  NPEND_REQUEST    RES_INUSE            RES_REQUEST
root.Q1         OPEN|ACTIVE     5            10             50              100              vcores 50,memory 500 vcores 100,memory 1000

−           queue -list -name root.Q1 -r将输出root.Q1及其所有的分支。

> superior queue -list -nameroot.Q1 -r
NAME         STATE            NRUN_APP     NPEND_APP  NRUN_CONTAINER   NPEND_REQUEST    RES_INUSE               RES_REQUEST
root.Q1      OPEN|ACTIVE      5            10         50               100              vcores 50,memory 500    vcores 100,memory 1000
root.Q1.Q11  OPEN|ACTIVE      5            10         50               100              vcores 50,memory 500    vcores 100,memory 1000
root.Q1.Q12  CLOSE|INACTIVE   0            0          0                0                vcores 0,memory 0       vcores 0,memory 0

−           queue -list -name root -c将会输出root及其直系子目录。

> superior queue -list -name root -c
NAME                  STATE             NRUN_APP     NPEND_APP     NRUN_CONTAINER   NPEND_REQUEST    RES_INUSE                RES_REQUEST
root                  OPEN|ACTIVE       10           20            100              200              vcores 100,memory 1000   vcores 200,memory 2000
root.Q1               OPEN|ACTIVE       5            10            50               100              vcores 50,memory 500     vcores 100,memory 1000
root.Q2               OPEN|INACTIVE     5            10            50               100              vcores 50,memory 500     vcores 100,memory 1000

−           queue –status <queue_name>将会输出具体队列状态和配置。

用户可通过SUBMIT ACL权限查看除队列ACL外的细节信息。

用户还可通过ADMIN ACL的队列权限查看包括ACL在内的队列细节信息。

> superior queue -status root.Q1
NAME: root.Q1
OPEN_STATE:CLOSED
ACTIVE_STATE: INACTIVE
EOPEN_STATE: CLOSED
EACTIVE_STATE: INACTIVE
LEAF_QUEUE: Yes
NUMBER_PENDING_APPLICATION: 100
NUMBER_RUNNING_APPLICATION: 10
NUMBER_PENDING_REQUEST: 10
NUMBER_RUNNING_CONTAINER: 10
NUMBER_RESERVED_CONTAINER: 0
RESOURCE_REQUEST: vcores 3,memory 3072
RESOURCE_INUSE: vcores 2,memory 2048
RESOURCE_RESERVED: vcores 0,memory 0
CONFIGURATION:
|-- DESCRIPTION: Spark session queue
|-- MAX_PENDING_APPLICATION: 10000
|--MAX_RUNNING_APPLICATION: 1000
|--ALLOCATION_ORDER_POLICY: FIFO
|--DEFAULT_RESOURCE_SELECT: label1
|--MAX_MASTER_SHARE: 10%
|--MAX_RUNNING_APPLICATION_PER_USER : -1
|--MAX_ALLOCATION_UNIT: vcores 32,memory 12800
|--ACL_USERS: user1,user2
|--ACL_USERGROUPS: usergroup1,usergroup2
|-- ACL_ADMINS: user1
|--ACL_ADMINGROUPS: usergroup1

l   Superior application命令

该命令输出应用相关信息。

用法输出：

>superior application 
 
Usage: application [-help]
                   [-list]
                   [-status <application_id>]
 -help                      prints application sub command usage
 -list                      prints all application summary report
 -status <application_id>   prints status of specified application

用户可通过应用的浏览访问权限查看应用相关信息。

−           application -list以表的形式提供所有应用的信息摘要：

> superior application -list
ID                                        QUEUE             USER     NRUN_CONTAINER          NPEND_REQUEST               NRSV_CONTAINER       RES_INUSE                        RES_REQUEST                     RES_RESERVED           
application_1482743319705_0005            root.SEQ.queueB   hbase    1                       100                         0                    vcores 1,memory 1536             vcores 2000,memory 409600       vcores 0,memory 0
application_1482743319705_0006            root.SEQ.queueB   hbase    0                       1                           0                    vcores 0,memory 0                vcores 1,memory 1536            vcores 0,memory 0

−           application -status <app_id>命令输出指定应用的详细信息。示例如下：

> superior application -status application_1443067302606_0609
ID: application_1443067302606_0609
QUEUE: root.Q1.Q11
USER: cchen
RESOURCE_REQUEST: vcores 3,memory 3072
RESOURCE_INUSE: vcores 2,memory 2048
RESOURCE_RESERVED:vcores 1, memory 1024
NUMBER_RUNNING_CONTAINER: 2
NUMBER_PENDING_REQUEST: 3
NUMBER_RESERVED_CONTAINER: 1
MASTER_CONTAINER_ID: application_1443067302606_0609_01
MASTER_CONTAINER_RESOURCE: node1.domain.com
BLACKLIST: node5,node8
DEMANDS:
|-- PRIORITY: 20
|-- MASTER: true
|-- CAPABILITY: vcores 2, memory 2048
|-- COUNT: 1
|-- RESERVED_RES : vcores 1, memory 1024
|-- RELAXLOCALITY: true
|-- LOCALITY: node1/1
|-- RESOURCESELECT: label1
|-- PENDINGREASON: “application limit reached”
|-- ID: application_1443067302606_0609_03
|-- RESOURCE: node1.domain.com
|-- RESERVED_RES: vcores 1, memory 1024
|
|--PRIORITY: 1
|-- MASTER: false
|-- CAPABILITY: vcores 1,memory 1024
|-- COUNT: 2
|-- RESERVED_RES: vcores 0, memory 0
|-- RELAXLOCLITY: true
|--LOCALITY: node1/1,node2/1,rackA/2
|-- RESOURCESELECT: label1
|-- PENDINGREASON: “no available resource”
CONTAINERS:
|-- ID: application_1443067302606_0609_01
|-- RESOURCE: node1.domain.com
|-- CAPABILITY: vcores 1,memory 1024
|
|-- ID: application_1443067302606_0609_02
|-- RESOURCE: node2.domain.com
|-- CAPABILITY: vcores 1,memory 1024

l   Superior policy 命令

该命令输出决策相关信息。

Superior policy命令仅限管理员用户及拥有Yarn管理权限的用户使用。

用法输出：

>superior policy
 
Usage: policy [-help]
              [-list <resourcepoolname>] [-u] [-detail]
              [-status <resourcepoolname>]
 -detail                      only work with -list option to show a
                              summary information of resource pool
                              distribution on queues, including reserve,
                              minimum and maximum
 -help                        prints policy sub command usage
 -list <resourcepoolname>     prints a summary information of resource
                              pool distribution on queue
 -status <resourcepoolname>   prints pool distribution policy
                              configuration and status of specified
                              resource pool
 -u                           only work with -list option to show a
                              summary information of resource pool
                              distribution on queues and also user
                              accounts

−           policy -list <resourcepoolname>输出队列分布信息摘要。示例如下：

>superior policy -list default
NAME: default
TOTAL_RESOURCE: vcores 16,memory 16384
AVAILABLE_RESOURCE: vcores 16,memory 16384
 
NAMERES_INUSERES_REQUEST
root.defaultvcores 0,memory 0vcores 0,memory 0
root.productionvcores 0,memory 0vcores 0,memory 0
root.production.BU1vcores 0,memory 0vcores 0,memory 0
root.production.BU2 vcores 0,memory 0vcores 0,memory 0

−           policy -list <resourcepoolname> -u输出用户级信息摘要。

> superior policy -list default -u
NAME: default
TOTAL_RESOURCE: vcores 16,memory 16384
AVAILABLE_RESOURCE: vcores 16,memory 16384
 
NAMERES_INUSERES_REQUEST
root.defaultvcores 0,memory 0vcores 0,memory 0
root.default.[_others_]vcores 0,memory 0vcores 0,memory 0
root.productionvcores 0,memory 0vcores 0,memory 0
root.production.BU1vcores 0,memory 0vcores 0,memory 0
root.production.BU1.[_others_]vcores 0,memory 0vcores 0,memory 0
root.production.BU2vcores 0,memory 0vcores 0,memory 0
root.production.BU2.[_others_]vcores 0,memory 0vcores 0,memory 0

−           policy -status <resourcepoolname> 输出指定资源库的策略详细资料。

> superior policy -status pool1
NAME: pool1
TOTAL_RESOURCE: vcores 64,memory 128
AVAILABLE_RESOURCE: vcores 40,memory 28
QUEUES:
|-- NAME: root.Q1
|-- RESOURCE_USE: vcores 20, memory 1000
|-- RESOURCE_REQUEST: vcores 2,memory 100
|--RESERVE: vcores 10, memory 4096
|--MINIMUM: vcore 11, memory 4096
|--MAXIMUM: vcores 500, memory 100000
|--CONFIGURATION:
|-- SHARE: 50%
|-- RESERVE: vcores 10, memory 4096
|-- MINIMUM: vcores 11, memory 4096
|-- MAXIMUM: vcores 500, memory 100000
|-- QUEUES:
|-- NAME: root.Q1.Q11
|-- RESOURCE_USE: vcores 15, memory, 500
|-- RESOURCE_REQUEST: vcores 1, memory 50
|-- RESERVE: vcores 0, memory 0
|-- MINIMUM: vcores 0, memory 0
|-- MAXIMUM: vcores -1, memory -1
|-- USER_ACCOUNTS:
|-- NAME: user1
|-- RESOURCE_USE: vcores 1, memory 10
|-- RESOURCE_REQUEST: vcores 1, memory 50
|
|-- NAME: OTHERS
|--RESOURCE_USE: vcores 0, memory 0
|- RESOURCE_REQUEST: vcores 0, memory 0
|-- CONFIGURATION:
|-- SHARE: 100%
|-- USER_POLICY:
|-- NAME: user1
|-- WEIGHT: 10
|
|-- NAME: OTHERS
|-- WEIGHT: 1
|-- MAXIMUM: vcores 10, memory 1000

2.2 Java API

关于YARN的详细API可以直接参考官方网站上的描述：http://hadoop.apache.org/docs/r2.7.2/api/index.html

常用接口

YARN常用的Java类有如下几个。

l   ApplicationClientProtocol

用于Client与ResourceManager之间。Client通过该协议可实现将应用程序提交到ResourceManager上，查询应用程序的运行状态或者中止应用程序等功能。

表2-2 ApplicationClientProtocol常用方法

方法	说明
forceKillApplication(KillApplicationRequest request)	Client通过此接口请求RM中止一个已提交的任务。
getApplicationAttemptReport(GetApplicationAttemptReportRequest request)	Client通过此接口从RM获取指定ApplicationAttempt的报告信息。
getApplicationAttempts(GetApplicationAttemptsRequest request)	Client通过此接口从RM获取所有ApplicationAttempt的报告信息。
getApplicationReport(GetApplicationReportRequest request)	Client通过此接口从RM获取某个应用的报告信息。
getApplications(GetApplicationsRequest request)	Client通过此接口从RM获取满足一定过滤条件的应用的报告信息。
getClusterMetrics(GetClusterMetricsRequest request)	Client通过此接口从RM获取集群的Metrics。
getClusterNodes(GetClusterNodesRequest request)	Client通过此接口从RM获取集群中的所有节点信息。
getContainerReport(GetContainerReportRequest request)	Client通过此接口从RM获取某个Container的报告信息。
getContainers(GetContainersRequest request)	Client通过此接口从RM获取某个ApplicationAttemp的所有Container的报告信息。
getDelegationToken(GetDelegationTokenRequest request)	Client通过此接口获取授权票据，用于container访问相应的service。
getNewApplication(GetNewApplicationRequest request)	Client通过此接口获取一个新的应用ID号，用于提交新的应用。
getQueueInfo(GetQueueInfoRequest request)	Client通过此接口从RM中获取队列的相关信息。
getQueueUserAcls(GetQueueUserAclsInfoRequest request)	Client通过此接口从RM中获取当前用户的队列访问权限信息。
moveApplicationAcrossQueues(MoveApplicationAcrossQueuesRequest request)	移动一个应用到新的队列。
submitApplication(SubmitApplicationRequest request)	Client通过此接口提交一个新的应用到RM。

l   ApplicationMasterProtocol

用于ApplicationMaster与ResourceManager之间。ApplicationMaster使用该协议向ResourceManager注册、申请资源、获取各个任务的运行情况等。

表2-3 ApplicationMasterProtocol常用方法

方法	说明
allocate(AllocateRequest request)	AM通过此接口提交资源分配申请。
finishApplicationMaster(FinishApplicationMasterRequest request)	AM通过此接口通知RM其运行成功或者失败。
registerApplicationMaster(RegisterApplicationMasterRequest request)	AM通过此接口向RM进行注册。

l   ContainerManagementProtocol

用于ApplicationMaster与NodeManager之间。ApplicationMaster使用该协议要求NodeManager启动/中止Container或者查询Container的运行状态。

表2-4 ContainerManagementProtocol常用方法

方法	说明
getContainerStatuses(GetContainerStatusesRequest request)	AM通过此接口向NM请求Containers的当前状态信息。
startContainers(StartContainersRequest request)	AM通过此接口向NM提供需要启动的containers列表的请求。
stopContainers(StopContainersRequest request)	AM通过此接口请求NM停止一系列已分配的Containers。

1.1 REST API

功能简介

通过HTTP REST API来查看更多Yarn任务的信息。目前Yarn的REST接口只能进行一些资源或者任务的查询。完整和详细的接口请直接参考官网上的描述以了解其使用：http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/WebServicesIntro.html

准备运行环境

1.         在节点上安装客户端，例如安装到“/opt/client”目录，可参考“安装客户端”。

2.         进入客户端安装目录“/opt/client”，执行下列命令初始化环境变量。

source bigdata_env

kinit 组件业务用户

kinit一次票据时效24小时。24小时后再次运行样例，需要重新kinit。

3.         与HTTP服务访问相比，以HTTPS方式访问Yarn时，由于使用了SSL安全加密，需要确保Curl命令所支持的SSL协议在集群中已添加支持。若不支持，可对应修改集群中SSL协议。例如，若Curl仅支持TLSv1协议，修改方法如下：

登录FusionInsight Manager页面，单击“服务管理 > Yarn > 服务配置”，在“参数类别”选择“全部配置”，在“搜索”框里搜索“hadoop.ssl.enabled.protocols”，查看参数值是否包含“TLSv1”，若不包含，则在配置项“hadoop.ssl.enabled.protocols”中追加“,TLSv1”。清空“ssl.server.exclude.cipher.list”配置项的值 ，否则以HTTPS访问不了Yarn。单击“保存配置”，并勾选“重新启动受影响的服务或实例。”，单击“确定”，重启服务。

TLSv1协议存在安全漏洞，请谨慎使用。

操作步骤

1.         获取运行在Yarn上的任务的具体信息。

−           命令：

curl -k -i --negotiate -u : "https://10-120-85-2:26001/ws/v1/cluster/apps/"

其中10-120-85-2为ResourceManager主节点的hostname，26001为ResourceManager的端口号。

−           用户能看到哪个队列的任务，要看这个用户是否有这个队列的admin权限，如何给用户赋予队列的admin权限，请参考FusionInsight产品文档中“创建Yarn角色”章节。

−           运行结果：

{
    "apps": {
        "app": [
            {
                "id": "application_1461743120947_0001",
                "user": "spark",
                "name": "Spark-JDBCServer",
                "queue": "default",
                "state": "RUNNING",
                "finalStatus": "UNDEFINED",
                "progress": 10,
                "trackingUI": "ApplicationMaster",
                "trackingUrl": "https://10-120-85-2:26001/proxy/application_1461743120947_0001/",
                "diagnostics": "AM is launched. ",
                "clusterId": 1461743120947,
                "applicationType": "SPARK",
                "applicationTags": "",
                "startedTime": 1461804906260,
                "finishedTime": 0,
                "elapsedTime": 6888848,
                "amContainerLogs": "https://10-120-85-2:26010/node/containerlogs/container_e12_1461743120947_0001_01_000001/spark",
                "amHostHttpAddress": "10-120-85-2:26010",
                "allocatedMB": 1024,
                "allocatedVCores": 1,
                "runningContainers": 1,
                "memorySeconds": 7053309,
                "vcoreSeconds": 6887,
                "preemptedResourceMB": 0,
                "preemptedResourceVCores": 0,
                "numNonAMContainerPreempted": 0,
                "numAMContainerPreempted": 0,
                "resourceRequests": [
                    {
                        "capability": {
                            "memory": 1024,
                            "virtualCores": 1
                        },
                        "nodeLabelExpression": "",
                        "numContainers": 0,
                        "priority": {
                            "priority": 0
                        },
                        "relaxLocality": true,
                        "resourceName": "*"
                    }
                ],
                "logAggregationStatus": "NOT_START",
                "amNodeLabelExpression": ""
            },
            {
                "id": "application_1461722876897_0002",
                "user": "admin",
                "name": "QuasiMonteCarlo",
                "queue": "default",
                "state": "FINISHED",
                "finalStatus": "SUCCEEDED",
                "progress": 100,
                "trackingUI": "History",
                "trackingUrl": "https://10-120-85-2:26001/proxy/application_1461722876897_0002/",
                "diagnostics": "Attempt recovered after RM restart",
                "clusterId": 1461743120947,
                "applicationType": "MAPREDUCE",
                "applicationTags": "",
                "startedTime": 1461741052993,
                "finishedTime": 1461741079483,
                "elapsedTime": 26490,
                "amContainerLogs": "https://10-120-85-2:26010/node/containerlogs/container_e11_1461722876897_0002_01_000001/admin",
                "amHostHttpAddress": "10-120-85-2:26010",
                "allocatedMB": -1,
                "allocatedVCores": -1,
                "runningContainers": -1,
                "memorySeconds": 158664,
                "vcoreSeconds": 52,
                "preemptedResourceMB": 0,
                "preemptedResourceVCores": 0,
                "numNonAMContainerPreempted": 0,
                "numAMContainerPreempted": 0,
                "amNodeLabelExpression": ""
            }
        ]
    }
}

−           结果分析：

通过这个接口，可以查询当前集群中Yarn上的任务，并且可以得到如下表2-5。

表1-1 常用信息

参数	参数描述
user	运行这个任务的用户。
applicationType	例如MAPREDUCE或者SPARK等。
finalStatus	可以知道任务是成功还是失败。
elapsedTime	任务运行的时间。

2.         获取Yarn资源的总体信息。

−           命令：

curl -k -i --negotiate -u : "https://10-120-85-102:26001/ws/v1/cluster/metrics"

−           运行结果：

{
    "clusterMetrics": {
        "appsSubmitted": 2,
        "appsCompleted": 1,
        "appsPending": 0,
        "appsRunning": 1,
        "appsFailed": 0,
        "appsKilled": 0,
        "reservedMB": 0,
        "availableMB": 23552,
        "allocatedMB": 1024,
        "reservedVirtualCores": 0,
        "availableVirtualCores": 23,
        "allocatedVirtualCores": 1,
        "containersAllocated": 1,
        "containersReserved": 0,
        "containersPending": 0,
        "totalMB": 24576,
        "totalVirtualCores": 24,
        "totalNodes": 3,
        "lostNodes": 0,
        "unhealthyNodes": 0,
        "decommissionedNodes": 0,
        "rebootedNodes": 0,
        "activeNodes": 3,
        "rmMainQueueSize": 0,
        "schedulerQueueSize": 0,
        "stateStoreQueueSize": 0
    }
}

−           结果分析：

通过这个接口，可以查询当前集群中如表2-6。

表1-2 常用信息

参数	参数描述
appsSubmitted	已经提交的任务数。
appsCompleted	已经完成的任务数。
appsPending	正在挂起的任务数。
appsRunning	正在运行的任务数。
appsFailed	已经失败的任务数。
appsKilled	已经被kill的任务数。
totalMB	Yarn资源总的内存。
totalVirtualCores	Yarn资源总的VCore数。

1.2 REST APIs of Superior Scheduler

功能简介

REST/HTTP是Superior Scheduler在YARN资源管理器主机和YARN资源管理网络服务端口的一部分。通常以address:port as SS_REST_SERVER.的形式指示YARN。

下面使用HTTPS作为URL的一部分，并且只有HTTPS将得到支持。

Superior Scheduler接口

l   查询Application

−           查询scheduler engine中的所有application。

n   URL

GET https://<SS_REST_SERVER>/ws/v1/sscheduler/applications/list

n   输入

无

n   输出

JSON Response：
 
{
 "applicationlist": [
  {
   "id": "1020201_0123_12",
   "queue": "root.Q1.Q11",
   "user": "cchen",
   "resource_request": {
       "vcores" : 10,
       "memory" : 100
  },
  "resource_inuse": {
    "vcores" : 100,
    "memory" : 2000
  },
  "number_running_container": 100,
  "number_pending_request": 10
  },
  {
  "id": "1020201_0123_15",
  "queue": "root.Q2.Q21",
  "user": "Jason",
  "resource_request": {
    "vcores" : 4,
    “memory” : 100
  },
  "resource_inuse": {
    "vcores" : 20,
    "memory" : 200
  },
  "resource_reserved": {
    "vcores" : 10, 
    "memory" : 100
  },
  "number_running_container": 20,
  "number_pending_container": 4,
  "number_reserved_container":2
  }
 ]
}

表1-3 all application参数

参数属性	参数类型	参数描述
applicationlist	array	application ID数组。
queue	String	application队列名称。
user	String	提交application的用户名称。
resource_request	object	当前所需要的资源，包括vcores、内存等。
resource_inuse	object	当前所使用的资源，包括vcores、内存等。
resource_reserved	object	当前所预留的资源，包括vcores、内存等。
number_running_container	int	正在运行的container的总数。这反映了superior引擎的判定数量。
number_pending_request	int	挂起申请的总数。这是所有分配请求总和。
number_reserved_container	int	预留container的总数。这反映了superior引擎的判定数量。
id	String	application ID。

−           查询scheduler engine中的单个application。

n   URL

GET https://<SS_REST_SERVER>/ws/v1/sscheduler/applications/{application_id}

n   输入

无

n   输出

JSON Response：
 
{
 "applicationlist": [
  {
   "id": "1020201_0123_12",
   "queue": "root.Q1.Q11",
   "user": "cchen",
   "resource_request": {
       "vcores" : 3,
       "memory" : 3072
  },
  "resource_inuse": {
    "vcores" : 100,
    "memory" : 2048
  },
  "number_running_container": 2,
  "number_pending_request": 3,
  "number_reserved_container":1
  "master_container_id": 23402_3420842
  "master_container_resource": node1.domain.com
  "blacklist": [
    {
     "resource": "node5"
    },
    {
     "resource": "node8"
    }
  ],
  "demand": [
    {
     "priority": 1,
     "ismaster": true,
     "capability": {
     "vcores": 2,
      "memory": 2048
    },
    "count": 1,
    "relaxlocality": true,
    "locality": [
     {
      "target": "node1",
      "count": 1,
      "strict": false
     }
    ],
    "resourceselect": "label1",
    "pending_reason": "application limit reached",
    "reserved_resource": {
     "vcores":1,
      "memory":1024
    },
    "reservations":[
    "id": "23402_3420878",
    "resource": "node1.domain.com",
    "reservedAmount": {
     "vcores":1,
     "memory":1024
    } 
   ] 
  },
  {
   "priority": 1,
   "ismaster": false,
   "capability": {
   "vcores": 1,
   "memory": 1024
  },
  "count": 2,
  "relaxlocality": true,
  "locality": [
   {
    "target": "node1",
    "count": 1,
    "strict": false
   },
   {
    "target": "node2",
    "count": 1,
    "strict": false
   },
   {
    "target": "rackA",
    "count": 2,
    "strict": false
   },
  ],
  "resourceselect": "label1",
  "pending_reason": "no available resource"
  }
 ],
 "containers": [
   {
    "id": "23402_3420842",
    "resource": "node1.domain.com",
    "capability": {
     "vcores": 1,
     "memory": 1024
   }
  },
  {
    "id": "23402_3420853",
    "resource": "node2.domain.com",
    "capability": {
     "vcores": 1,
     "memory": 1024
    }
   }
  ]
 }
}

n   异常

未找到应用程序。

表1-4 single application参数

参数属性	参数类型	参数描述
application	object	application对象。
id	String	application ID。
queue	String	application队列名称。
user	String	application的用户名称。
resource_request	object	当前所申请的资源，包括vcores、内存等。
resource_inuse	object	当前所使用的资源，包括vcores、内存等。
resource_reserved	object	当前所预留的资源，包括vcores、内存等。
number_running_container	int	正在运行的container的总数。这反映了superior引擎的判定数量。
number_pending_request	int	挂起申请的总数。这反映了superior引擎的判定数量。
number_reserved_container	int	预留container的总数。这反映了superior引擎的判定数量。
master_container_id	String	总containerID。
master_container_resource	String	运行的主container的主机名。
demand	array	demand对象数组。
priority	int	请求的优先级。
ismaster	boolean	判断是否为application master需求。
capability	object	Capability对象。
vcores, memory, ..	int	数值可消耗资源属性，给该命令定义分配“单元”。
count	int	单元所需的数量。
relaxlocality	boolean	本地化需求优先，如果不能满足则不强制满足。
locality	object	本地化对象。
target	string	本地化目标的名称（即：节点1，框架1）。
count	int	资源“单元”数量与所需的本地需求。
strict	boolean	是否强制本地性。
resourceselect	String	application资源选择。
pending_reason	String	该application pending的理由。
resource_reserved	object	当前需求的预留资源，包括vcores、内存等。
reservations	array	预留container对象的数组。
reservations:id	String	预留container的ID。
reservations:resource	String	container的分配地址。
reservations:reserveAmount	object	预留项的总数。
containers	array	分配container对象的数组。
containers:id	String	containerID。
containers:resource	String	container分配的位置。
containers:capability	object	Capability对象。
containers:vcores,memory…	int	分配给该container的可消耗数值型资源属性。

l   查询Queue

−           查询scheduler engine中的所有queue，包括叶子节点和所有中间队列。

n   URL

GET https://<SS_REST_SERVER>/ws/v1/sscheduler/queues/list

n   输入

无

n   输出

JSON Response:
 
{
  "queuelist": [
    {
      "name": "root.default",
      "eopen_state": "OPEN",
      "eactive_state": "ACTIVE",
      "open_state": "OPEN",
      "active_state": "ACTIVE",
      "number_pending_application": 2,
      "number_running_application": 10,
      "number_pending_request": 2,
      "number_running_container": 10,
      "number_reserved_container":1,
      "resource_inuse" {
          "vcores": 10,
          "memory": 10240
      },
      "resource_request" {
          "vcores": 2,
          "memory": 2048
      },
      "resource_reserved" {
          "vcores": 1
          "memory": 1024
      }
      
    },
    {
      "name": "root.dev",
      "eopen_state": "OPEN",
      "eactive_state": "INACTIVE",
      "open_state": "OPEN",
      "active_state": "INACTIVE",
      "number_pending_application": 2,
      "number_running_application": 10,
      "number_pending_request": 2,
      "number_running_container": 10,
      "number_reserved_container":0,
      "resource_inuse" {
          "vcores": 10,
          "memory": 10240
      },
      "resource_request" {
          "vcores": 2,
          "memory": 2048
      },
      "resource_reserved" {
          "vcores": 0
          "memory": 0
      }
    },
    {
      "name": "root.qa",
      "eopen_state" : "CLOSED",
      "eactive_state" : "ACTIVE",
      "open_state": "CLOSED",
      "active_state": "ACTIVE",
      "number_pending_application": 2,
      "number_running_application": 10,
      "number_pending_request": 2,
      "number_running_container": 10,
      "number_reserved_container":0,
      "resource_inuse" {
          "vcores": 10,
          "memory": 10240
      },
      "resource_request" {
          "vcores": 2,
          "memory": 2048
      },
      "resource_reserved" {
          "vcores": 1
          "memory": 1024
      }
 
 
    },
    
  ]
}

表1-5 all queues参数

参数属性	参数类型	参数描述
queuelist	array	队列名称列表。
name	String	队列名称。
open_state	String	队列的内在状态（自身状态）。表示队列的有效状态为OPEN或CLOSED。CLOSED状态的队列不接受任何新的allocation请求。
eopen_state	String	队列的外在状态（父队列状态）。有效状态为队列自身状态及其父队列状态的组合。CLOSED状态的队列不接受任何新的allocation请求。
active_state	String	队列的内在状态（自身状态）。表示队列的有效状态为ACTIVE或INACTIVE。INACTIVE状态的队列不能调度任何应用程序。
eactive_state	String	队列的外在状态（父队列状态）。有效状态为队列自身状态及其父队列状态的组合。INACTIVE状态的队列不能调度任何应用程序。
number_pending_application	int	挂起应用的总和。
number_running_application	int	正在运行应用的总和。
number_pending_request	int	挂起请求的总和。
number_running_container	int	正在运行container的总和。
numbert_reserved_container	int	预留container的总和。
resource_request	object	以vcores和内存等形式在队列中挂起的资源请求。
resource_inuse	object	以vcores和内存等形式在队列中使用的资源。
resource_reserved	object	以vcores和内存等形式在队列中预留的资源。
active_state	String	描述表示队列ACTIVE或INACTIVE状态。一个INACTIVE队列不能调度任何分配请求。

−           查询scheduler engine中的单个queue，包括叶子节点和所有中间队列。

n   URL

GET https://<SS_REST_SERVER>/ws/v1/sscheduler/queues/{queuename}

n   输入

无

n   输出

JSON Response:
 
{
  "queue": {
"name": "root.default",
"eopen_state": "CLOSED",
"eactive_state": "INACTIVE",
    "open_state": "CLOSED",
"active_state": "INACTIVE",
"leaf_queue" : yes,
    "number_pending_application": 100,
"number_running_application": 10,
    "number_pending_request": 10,
"number_running_container": 10,
"number_reserved_container:1,
"resource_inuse" {
          "vcores": 10,
          "memory": 10240
      },
      "resource_request" {
          "vcores": 2,
          "memory": 2048
      },
      "resource_reserved" {
           "vcores": 1, 
           "memory": 1024
      }
 
    "configuration": {
  "description": "Production spark queue",
      "max_pending_application": 10000,
      "max_running_application": 1000,
      "allocation_order_policy": "FIFO",
      "default_resource_select": "label1",
      "max_master_share": 10%,
      "max_running_application_per_user": -1,
      "max_allocation_unit": {
           "vcores": 32,
           "memory": 128000
      },
      "user_acl": [
        {
          "user": "user1"
        },
        {
          "group": "group1"
        }
      ],
      "admin_acl": [
        {
          "user": "user2"
        },
        {
          "group": "group2"
        }
      ]
    }
  }
}

n   异常

未找到队列。

表1-6 single queue参数

参数属性	参数类型	参数描述
queue	object	队列对象。
name	String	队列名称。
description	String	队列描述。
open_state	String	队列的内在状态（自身状态）。表示队列的有效状态为OPEN或CLOSED。CLOSED状态的队列不接受任何新的allocation请求。
eopen_state	String	队列的外在状态（父队列状态）。有效状态为队列自身状态及其父队列状态的组合。CLOSED状态的队列不接受任何新的allocation请求。
active_state	String	队列的内在状态（自身状态）。表示队列的有效状态为ACTIVE或INACTIVE。INACTIVE状态的队列不能调度任何应用程序。
eactive_state	String	队列的外在状态（父队列状态）。有效状态为队列自身状态及其父队列状态的组合。INACTIVE状态的队列不能调度任何应用程序。
leaf_queue	boolean	表示队列是否在树节点或中间队列。表示叶子节点队列。
number_pending_application	int	当前的挂起请求数量。如果是中间队列/父队列，这是所有子队列的集合。
number_running_application	int	当前正在运行应用的数量。如果是中间队列/父队列，这是所有子队列的集合。
number_pending_request	int	挂起命令的数量；每个未完成命令的总计数。如果是中间队列/父队列，这是所有子队列的集合。
number_running_container	int	正在运行container的数量。如果是中间队列/父队列，这是所有子队列的集合。
number_reserved_container	int	预留container的数量。如果是中间队列/父队列，这是所有子队列的集合。
resource_request	object	以vcores和内存等形式在队列中挂起的资源请求。
resource_inuse	object	以vcores和内存等形式在队列中使用的资源。
resource_reserved	object	以vcores和内存等形式预留在队列中的资源。
configuration	object	队列配置目标。
max_pending_application	int	最大挂起应用数。如果是中间队列/父队列，这是所有子队列的集合。
max_running_application	int	最大运行应用数。如果是中间队列/父队列，这是所有子队列的集合。
allocation_order_policy	String	分配策略，可以使用FIFO原则，PRIORITY原则或者FAIR原则。
max_running_application_per_user	int	每个使用者运行应用的最大数量。
max_master_share	string	该队列共享的百分比。
max_allocation_unit	object	单个container允许的最大资源，该资源以vcores和内存等形式存在。
default_resource_select	String	缺省资源选择表达式。它被使用在当应用没有被指定一个提交区间值时。
user_acl	array	队列中被给予user权限的使用者。
admin_acl	array	该队列中被给予admin权限的使用者。
group	String	用户组名称。
user	String	用户名称。

l   查询Resource Pool

−           查询scheduler engine中所有resource pool。

n   URL

GET https://<SS_REST_SERVER>/ws/v1/sscheduler/resourcepools/list

n   输入

无

n   输出

JSON Response:
{
  "resourcepool_list": [
    {
      "name": "pool1",
      "description": "resource pool for crc",
      "number_member": 5,
      "members": [
        {
          "resource": "node1"
        },
        {
          "resource": "node2"
        },
        {
          "resource": "node3"
        },
        {
          "resource": "node4"
        },
        {
          "resource": "node5"
        }
      ],
      "available_resource": {
        "vcores": 60,
        "memory": 60000
      },
      "total_resource": {
        "vcores": 100,
        "memory": 128000
      },
      "configuration": {
        "resources": [
          {
            "resource": "node1"
          },
          {
            "resource": "node[2-5]"
          }
        ],
        "resource_select": "label1"
      }
    },
    {
      "name": "pool2",
      "description": "resource pool for erc",
      "number_member": 4
      "members": [
        {
          "resource": "node6"
        },
        {
          "resource": "node7"
        },
        {
          "resource": "node8"
        },
        {
          "resource": "node9"
        }
      ],
      "available_resource": {
        "vcores": 56,
        "memory": 48000
      },
      "total_resource": {
         "vcores": 100,
         "memory": 128000
      },
      "configuration": {
        "resources": [
          {
            "resource": "node6"
          },
          {
            "resource": "node[7-9]"
          }
        ],
        "resource_select": "label1"
      }
    },
    {
      "name": "default",
      "description": "system-generated",
      "number_member": 1,
      "members": [
        {
          "resource": "node0"
        }
      ],
      "available_resource": {
        "vcores": 8,
        "memory": 8192
      },
      "total_resource": {
        "vcores": 16,
        "memory": 12800
      }
    }
  ]
}

表1-7 all resource pools参数

参数属性	参数类型	参数描述
resourcepool_list	array	resource pool对象数组。
name	String	resource pool名称。
number_member	int	resource pool成员数量。
description	String	resource pool描述。
members	array	当前resource pool成员的资源名称数组。
resource	String	资源名称。
available_resource	object	该resource pool中当前可使用的资源。
vcores, memory, ..	int	可消耗数值型资源属性，当前resource pool中可用资源的属性，该属性的值以数字表示。
total_resource	object	该resource pool所有资源。
vcores, memory, ..	int	可消耗数值型资源属性，当前resource pool中总资源的属性，该属性的值以数字表示。
configuration	object	配置目标。
resources	array	所配置的资源名称pattern数组。
resource	String	资源名称模式。
resource_select	String	资源选择表达式。

−           查询scheduler engine中单个resource pool

n   URL

GET https://<SS_REST_SERVER>/ws/v1/sscheduler/resourcepools/{resourcepoolname}

n   输入

无

n   输出

JSON Response:
{
  "resourcepool": {
    "name": "pool1",
    "description": "resource pool for crc",
    "number_member": 5
    "members": [
      {
        "resource": "node1"
      },
      {
        "resource": "node2"
      },
      {
        "resource": "node3"
      },
      {
        "resource": "node4"
      },
      {
        "resource": "node5"
      }
    ],
    "available_resource": {
      "vcores": 60,
      "memory": 60000
},
"total_resource": {
  "vcores": 100,
  "memory": 128000
},
    "configuration": {
      "resources": [
        {
          "resource": "node6"
        },
        {
          "resource": "node[7-9]"
        }
      ],
      "resource_select": "label1"
    }
  }
}

n   异常

未找到resource pool。

表1-8 single resource pool参数

参数属性	参数类型	参数描述
resourcepool	object	resource pool对象。
name	String	resource pool名称。
description	String	resource pool描述。
number_member	int	resource pool成员数量。
members	array	该resource pool现任成员的资源名称数组。
resource	String	资源名称。
available_resource	object	该resource pool当前可用资源。
vcores, memory, ..	int	可消耗数值型资源属性，当前resource pool中可用资源的属性，该属性的值以数字表示。
total_resource	object	该resource pool中所有资源。
vcores, memory, ..	int	可消耗数值型资源属性，当前resource pool中总资源的属性，该属性的值以数字表示。
configuration	object	配置目标。
resources	array	所配置的资源名称pattern数组。
resource	String	资源名称模式。
resource_select	String	资源选择表达式。

本帖最后由 白展堂 于 2018-06-13 17:26 编辑