zoukankan      html  css  js  c++  java
  • 关于spark任务提交状态的理解

    spark任务提交之后作业运行状态

    在spark向yarn提交作业之后,正常情况下,作业运行结束之前,状态分为两种,分别是:accept以及running

    一、accept

        该状态表示Application已经提交给调度器。

        在NEW_SAVEING转换为SUBMITTED状态的时候,RMAppImpl会除法StartAppAttemptTransition,这是会创建一个新的RMAppAttempt,然后新建RMAppAttemptEventType.START事件给处理器,经过RMAppAttempt处理机。当该RMAppAttempt交给度器(的某个组)后,状态改为ACCEPTED。

    二、running

            AM已经启动并注册到RM上。两种情况下会转换为RUNNING状态:

    AM启动会向RM注册,这时候会触发RMApplmpl状态转换为RUNNING。

    RMAppImpl也有可能在Recovery模式下转换为RUNNING.

    三、运行流程图

          图片

    所以说,spark作业在提交之后处于accept状态的情况下,并不会占用driver端的内存。

  • 相关阅读:
    ios实现下拉刷新,上拉加载
    ios实现瀑布流
    ios收货地址三级联动选择
    ios仿淘宝管理收货地址demo
    引用传值
    继承小结
    is操作符和as操作符
    抽象类和object类
    重写基类
    派生
  • 原文地址:https://www.cnblogs.com/Gxiaobai/p/12215846.html
Copyright © 2011-2022 走看看