zoukankan      html  css  js  c++  java
  • 两种类型的Spark RDD task解析以及iterator解析 -- (视频笔记)

    spark 每次提交一个作业,都会划分成不同的stage,除了最后一个stage(shuffle map task),前边的stage属于一种类型(result task)。

    spark中的job,内部是由具体task构成,由于spark的调度模式根据宽依赖的模式划分成不同的stage,而我们从spark获取结果,是从最后一个stage中获取的。

    stage内部有不同的任务,任务被提交到集群的计算节点,计算节点计算逻辑的时候,在excutor中

    线程池中的线程中运行,线程会调用具体的run方法执行。

    最后一个stage task类型为result类型,之前的所有的类型都为shuffle map task类型。

    RDD objects:建DAG图,

    DAGschedule:根据DAG图,将任务划分为不同的stage即task

    TaskScheduler:cluster 获取task,并分配给worker和重试失败的任务。(shuffle map task和result task)

    shuffle map task会将stage划分为不同的buckets。buckets决定这并行度。

    worker:执行具体的task,两种taks都包含runtask 方法,方法中执行的iterator,iterator中包含cache判断。(可以在源码中查看到)

  • 相关阅读:
    Python练习题
    python自动化学习笔记(六)
    Python自动化学习笔记( 五)
    自动化学习笔记之接口测试(一)
    python自动化学习笔记(四)
    vim编辑器命令
    linux之shell通配符
    Python自动化学习笔记(二)
    python自动化学习笔记(三)
    python学习笔记之常用操作符
  • 原文地址:https://www.cnblogs.com/isenhome/p/5086130.html
Copyright © 2011-2022 走看看