zoukankan      html  css  js  c++  java
  • spark的任务调度模式

    spark任务调度和资源分配

    1、Spark调度模式 FIFO和FAIR

    	Spark中的调度模式主要有两种:FIFO和FAIR。
    	默认情况下Spark的调度模式是FIFO(先进先出),谁先提交谁先执行,后面的任务需要等待前面的任务执行。
    	而FAIR(公平调度)模式支持在调度池中为任务进行分组,不同的调度池权重不同,任务可以按照权重来决定执行顺序。
    

    2、资源分配概述

    • spark的分配资源主要就是 executor、cpu per executor、memory per executor、driver memory 等的调节,在我们在生产环境中,提交spark作业时,用的spark-submit shell脚本,里面调整对应的参数:

      spark-submit
      --class cn.spark.sparktest.core.WordCountCluster
      --num-executors 3 配置executor的数量
      --driver-memory 100m 配置driver的内存(影响不大)
      --executor-memory 100m 配置每个executor的内存大小
      --executor-cores 3 配置每个executor的cpu core数量
      /usr/local/SparkTest-0.0.1-SNAPSHOT-jar-with-dependencies.jar

    3、如何分配资源

    • 首先要了解你的机子的资源,多大的内存,多少个cpu core,就根据这个实际情况去设置,能使用多少资源,就尽量去调节到最大的大小(executor的数量,几十个到上百个不等;executor内存;executor cpu core)。一个cpu对应2-3task合理
      • Standalone 模式
        • 如果每台机器可用内存是4G,2个cpu core,20台机器,
        • 那可以设置:20个executor,每个executor4G内存,2个cpu core(资源最大化利用)。
      • yarn 模式下
        • 根据spark要提交的资源队列资源来考虑,如果所在队列资源为500G内存,100个cpu core。
        • 可以设置50个executor;每个executor10G内存2个cpu
    • 调节资源后,SparkContext,DAGScheduler,TaskScheduler,会将我们的算子,切割成大量的task,提交到Application的executor上面去执行。

    4、分配资源策略

      • 给application分配资源选择worker(executor),现在有两种策略* :
      • 尽量的打散,即一个Application尽可能多的分配到不同的节点。这个可以通过设置spark.deploy.spreadOut来实现。默认值为true,即尽量的打散。(默认)
      • 尽量的集中,即一个Application尽量分配到尽可能少的节点。

    5、分配资源分析

      • 增加每个executor的cpu core,也是增加了执行的并行能力*。原本20个executor,每个才2个cpu core。能够并行执行的task数量,就是40个task。
      • 如果现在每个executor的cpu core,增加到了5个。能够并行执行的task数量,就是100个task。执行的速度,提升了2.5倍。
      • 如果executor数量比较少,那么能够并行执行的task数量就比较少,就意味着,我们的Application的并行执行的能力就很弱。
        • 比如有3个executor,每个executor有2个cpu core,那么同时能够并行执行的task就是6个。6个执行完以后,再换下一批6个task。
      • 增加了executor数量以后,那么就意味着能够并行执行的task数量,也就变多了。比如原先是6个,现在可能可以并行执行10个,甚至20个,100个。那么并行能力就比之前提升了数倍,数十倍。相应的,性能(执行的速度),也能提升数倍~数十倍。
      • 增加每个executor的内存量*。增加了内存量以后,对性能的提升有几点:
      • 如果需要对RDD进行cache,那么更多的内存,就可以缓存更多的数据,将更少的数据写入磁盘,甚至不写入磁盘。减少了磁盘IO。
      • 对于shuffle操作,reduce端,会需要内存来存放拉取的数据并进行聚合。如果内存不够,也会写入磁盘。如果给executor分配更多内存以后,就有更少的数据,需要写入磁盘,甚至不需要写入磁盘。减少了磁盘IO,提升了性能。
      • 对于task的执行,可能会创建很多对象。如果内存比较小,可能会频繁导致JVM堆内存满了,然后频繁GC,垃圾回收, GC和full GC。(速度很慢)。内存加大以后,带来更少的GC,垃圾回收,避免了速度变慢,速度变快了。
  • 相关阅读:
    从0开始学习自动化框架Airtest
    测试经理必知必会-Kanban和Scrum区别
    测试工程师的福音-如何使用Sonar完成代码质量检测
    看了很多文章,就这篇说明白了什么是接口测试
    测试经理必知必会:敏捷模型之Kanban
    Selenium元素定位不到?JS注入轻松搞定!
    测试经理必知必会:敏捷开发3355原则
    我知道你会冒泡排序,但是你会优化冒泡排序吗?
    快来使用Portainer让测试环境搭建飞起来吧
    给个MySQL,打算怎么测试?
  • 原文地址:https://www.cnblogs.com/alexzhang92/p/11094757.html
Copyright © 2011-2022 走看看