zoukankan      html  css  js  c++  java
  • 关于spark任务提交状态的理解

    spark任务提交之后作业运行状态

    在spark向yarn提交作业之后,正常情况下,作业运行结束之前,状态分为两种,分别是:accept以及running

    一、accept

        该状态表示Application已经提交给调度器。

        在NEW_SAVEING转换为SUBMITTED状态的时候,RMAppImpl会除法StartAppAttemptTransition,这是会创建一个新的RMAppAttempt,然后新建RMAppAttemptEventType.START事件给处理器,经过RMAppAttempt处理机。当该RMAppAttempt交给度器(的某个组)后,状态改为ACCEPTED。

    二、running

            AM已经启动并注册到RM上。两种情况下会转换为RUNNING状态:

    AM启动会向RM注册,这时候会触发RMApplmpl状态转换为RUNNING。

    RMAppImpl也有可能在Recovery模式下转换为RUNNING.

    三、运行流程图

          图片

    所以说,spark作业在提交之后处于accept状态的情况下,并不会占用driver端的内存。

  • 相关阅读:
    Struts2 拦截器
    Struts2 常用标签
    Struts2 OGNL表达式、ValueStack
    Struts2 在Action中操作数据
    Struts2 动态方法调用
    Struts2 常量配置
    Struts2 struts.xml配置
    Struts2 Action的3种创建方式
    Struts2 运行流程
    JUnit
  • 原文地址:https://www.cnblogs.com/Gxiaobai/p/12215846.html
Copyright © 2011-2022 走看看