zoukankan      html  css  js  c++  java
  • Master原理

    1、主备切换机制原理剖析与源码分析

    2、注册机制原理剖析与源码分析

    3、状态改变处理机制源码分析

    4、资源调度机制源码分析(schedule(),两种资源调度算法)(核心)

    一、主备切换机制原理

    1、Master主备切换机制:实际上指的就是,在Active Master挂掉之后,切换到Standby Master时, Master会做哪些操作。

    2、Master实际上可以配罟两个,Spark原生的standalone模式是支持 Master主备切换,当Active Master节点挂掉的时候,可以将Standby Master切换为Active Master。

    3、Spark Master主备切换可以基干两种机制,一种是基于文件系统的,一种是基于ZooKeeper的,基于文件系统的主备切换机制,需要在Active Master挂掉之后,由我们手动去切换到Standby Master上,而基于ZooKeeper的主备切换机制,可以实现自动切换Master。

    二、注册机制原理剖析与源码分析

    只有在yarn-cluster模式下提交的时候,才会注册Driver,standalone和yarn-client模式都会直接启动Driver, 而不会来不会注册Driver,就更不可能让master调度Driver了

     

    Application调度机制:

    Application的调度算法有两种:spreadOutApps 和 非spreadOutApps 

  • 相关阅读:
    【关键字】
    【选择结构语句:switch】
    【数据类型】
    【接口】
    【抽象类和接口的区别】
    【访问权限】
    【内部类】
    【方法】
    【this 关键字】
    【Static】
  • 原文地址:https://www.cnblogs.com/suwy/p/9513693.html
Copyright © 2011-2022 走看看