zoukankan      html  css  js  c++  java
  • Spark基础概念

    • spark应用的基本概念
      •   spark应用(Application)执行过程中各个组件的概念:

    1.Task(任务):RDD中的一个分区对应一个task,task是单个分区上最小的处理流程单元。

    2.TaskSet(任务集):一组关联的,但相互之间没有Shuffle依赖关系的Task集合。

    3.Stage(调度阶段):一个taskSet对应的调度阶段,每个job会根据RDD的宽依赖关系被切分很多Stage,每个stage都包含 一个TaskSet。

    4.job(作业):由Action算子触发生成的由一个或者多个stage组成的计算作业。

    5.application:用户编写的spark应用程序,由一个或者多个job组成,提交到spark之后,spark为application分派资源,将程序转换并执行。

    6.DAGScheduler:根据job构建基于stage的DAG,并提交stage给TaskScheduler。

    7.TaskScheduler:将Taskset提交给Worker Node集群运行并返回结果。

        Spring驱动程序:

          

  • 相关阅读:
    nginx常用配置
    docker 启动常用容器命令
    win10 安装 docker
    Selenium IDE for Google Chrome
    Python use goto statement
    TCP:一个悲伤的故事
    gtx770测评
    三十而立——年终总结
    bilibili自定义调整视频播放速度
    linux-安装docker
  • 原文地址:https://www.cnblogs.com/liuwd/p/10904583.html
Copyright © 2011-2022 走看看