zoukankan      html  css  js  c++  java
  • spark内核源码深度剖析(2)--Spark的三种提交模式

    spark的三种提交模式:

    1- spark内核架构,standalone模式,基于spark自己的Mater-Worker集群;

    2- 基于yarn的yarn-cluster模式;主要用于线上生产环境。

         修改方式spark-submit脚本,--master参数设置为yarn;--deploy-mode设置为cluster。

         缺点:spark-submit提交后,看不到log日志,只能到hdfs上拉取各个服务器上的日志文件。不方便调试。

         优点: driver运行到nodeManager,没有网卡流量递增的问题。 

    3- 基于yarn的yarn-client模式;主要用于测试。

        修改方式spark-submit脚本,--master参数设置为yarn;--deploy-mode设置为client。

        缺点:driver运行在本地客户端,负责调度application,会与yarn集群产生大量的网络通信,从而导致流量激增。

        优点:直接执行时,本地可以看到所有的log。方便测试调试。

     当然,提交模式也可以通过代码或配置文件进行修改。一般优先顺序为:代码SparkContext>脚本>配置文件

  • 相关阅读:
    C语言练习之计算某年日是该年的第几天
    C语言练习之 猴子吃桃问题
    C语言练习之 求阶乘
    C语言学习(四)
    C语言学习(三)
    C语言学习(二)
    C语言学习(一)
    自定义函数汇总
    #2019121200026 最大子序列和
    #2019121000025-LGTD
  • 原文地址:https://www.cnblogs.com/parent-absent-son/p/11376722.html
Copyright © 2011-2022 走看看