zoukankan      html  css  js  c++  java
  • Spark运行模式_基于YARN的Resource Manager的Custer模式(集群)

    使用如下命令执行应用程序:

            

    和"基于YARN的Resource Manager的Client模式(集群)"运行模式,区别如下:

    在Resource Manager端提交应用程序,会生成SparkSubmit进程,该进程只用来做Client端,应用程序提交给集群后,就会删除该进程。

            

    Resource Manager在集群中的某个NodeManager上运行ApplicationMaster,该AM同时会执行driver程序。紧接着,会在各NodeManager上运行CoarseGrainedExecutorBackend来并发执行应用程序。

            

    应用程序的结果,会在执行driver程序的节点的stdout中输出,而不是打印在屏幕上。

    对应的YARN资源管理的单元Container,关系如下:

            

    为ApplicationMaster生成了容器 000001

    为CoarseGrainedExecutorBackend生成了容器 000002-000003

    转载自:
    作者:俺是亮
    链接:https://www.jianshu.com/p/65a3476757a5
    來源:简书

  • 相关阅读:
    1046 A^B Mod C
    1019 逆序数
    1012 最小公倍数LCM
    1011 最大公约数GCD
    序列化
    bigdecimal
    equals 和hashcode
    java多线程-读写锁原理
    Java并发编程:volatile关键字解析
    面试
  • 原文地址:https://www.cnblogs.com/chengzipg/p/9317019.html
Copyright © 2011-2022 走看看