zoukankan      html  css  js  c++  java
  • 两种类型的Spark RDD task解析以及iterator解析 -- (视频笔记)

    spark 每次提交一个作业,都会划分成不同的stage,除了最后一个stage(shuffle map task),前边的stage属于一种类型(result task)。

    spark中的job,内部是由具体task构成,由于spark的调度模式根据宽依赖的模式划分成不同的stage,而我们从spark获取结果,是从最后一个stage中获取的。

    stage内部有不同的任务,任务被提交到集群的计算节点,计算节点计算逻辑的时候,在excutor中

    线程池中的线程中运行,线程会调用具体的run方法执行。

    最后一个stage task类型为result类型,之前的所有的类型都为shuffle map task类型。

    RDD objects:建DAG图,

    DAGschedule:根据DAG图,将任务划分为不同的stage即task

    TaskScheduler:cluster 获取task,并分配给worker和重试失败的任务。(shuffle map task和result task)

    shuffle map task会将stage划分为不同的buckets。buckets决定这并行度。

    worker:执行具体的task,两种taks都包含runtask 方法,方法中执行的iterator,iterator中包含cache判断。(可以在源码中查看到)

  • 相关阅读:
    正则匹配整数或小数
    文本超出点点点
    订单页面布局
    数据库连接池 maxActive,maxIdle,maxWait参数
    dll静态调用和动态调用
    Could not open JDBC Connection for transaction; nested exception is com.alibaba.druid.pool.GetConnection
    sql server调优
    AdPlus
    010 Editor
    WinDBG相关
  • 原文地址:https://www.cnblogs.com/isenhome/p/5086130.html
Copyright © 2011-2022 走看看