zoukankan      html  css  js  c++  java
  • 两种类型的Spark RDD task解析以及iterator解析 -- (视频笔记)

    spark 每次提交一个作业,都会划分成不同的stage,除了最后一个stage(shuffle map task),前边的stage属于一种类型(result task)。

    spark中的job,内部是由具体task构成,由于spark的调度模式根据宽依赖的模式划分成不同的stage,而我们从spark获取结果,是从最后一个stage中获取的。

    stage内部有不同的任务,任务被提交到集群的计算节点,计算节点计算逻辑的时候,在excutor中

    线程池中的线程中运行,线程会调用具体的run方法执行。

    最后一个stage task类型为result类型,之前的所有的类型都为shuffle map task类型。

    RDD objects:建DAG图,

    DAGschedule:根据DAG图,将任务划分为不同的stage即task

    TaskScheduler:cluster 获取task,并分配给worker和重试失败的任务。(shuffle map task和result task)

    shuffle map task会将stage划分为不同的buckets。buckets决定这并行度。

    worker:执行具体的task,两种taks都包含runtask 方法,方法中执行的iterator,iterator中包含cache判断。(可以在源码中查看到)

  • 相关阅读:
    Vue Bug
    Vue.js(一)
    Node.js简介
    对请求链接的URLEncode处理
    淘宝开放平台
    Java基础(一)
    计算机基础知识
    Unity中对象池的使用
    希尔排序算法
    插入排序算法
  • 原文地址:https://www.cnblogs.com/isenhome/p/5086130.html
Copyright © 2011-2022 走看看