zoukankan      html  css  js  c++  java
  • spark source code 分析之ApplicationMaster overview(yarn deploy client mode)

      一直不是很清楚ApplicationMaster的作用,尤其是在yarn client mode和cluster mode的区别

     网上有一些非常好的资料,请移步: https://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/

     然而还是不如直接看source code来的真切,参考spark source code(2.1.0)

    简单解释下如下图片:

    master 即为ApplicationMaster

    可以看到 前面即为建立rpc env, 并且取得与driver之间的联系

    master本身依赖自身的amEndpoint与driver 通过event驱动

    还有自身reportThread 靠allocator与resource manager通信,分配资源

  • 相关阅读:
    AngularJS
    Java
    Java
    AngularJS
    Java
    Java
    AngularJS
    Java
    Debian
    Java
  • 原文地址:https://www.cnblogs.com/dateInsigts/p/7099746.html
Copyright © 2011-2022 走看看