zoukankan      html  css  js  c++  java
  • Master原理

    1、主备切换机制原理剖析与源码分析

    2、注册机制原理剖析与源码分析

    3、状态改变处理机制源码分析

    4、资源调度机制源码分析(schedule(),两种资源调度算法)(核心)

    一、主备切换机制原理

    1、Master主备切换机制:实际上指的就是,在Active Master挂掉之后,切换到Standby Master时, Master会做哪些操作。

    2、Master实际上可以配罟两个,Spark原生的standalone模式是支持 Master主备切换,当Active Master节点挂掉的时候,可以将Standby Master切换为Active Master。

    3、Spark Master主备切换可以基干两种机制,一种是基于文件系统的,一种是基于ZooKeeper的,基于文件系统的主备切换机制,需要在Active Master挂掉之后,由我们手动去切换到Standby Master上,而基于ZooKeeper的主备切换机制,可以实现自动切换Master。

    二、注册机制原理剖析与源码分析

    只有在yarn-cluster模式下提交的时候,才会注册Driver,standalone和yarn-client模式都会直接启动Driver, 而不会来不会注册Driver,就更不可能让master调度Driver了

     

    Application调度机制:

    Application的调度算法有两种:spreadOutApps 和 非spreadOutApps 

  • 相关阅读:
    leetcode之Unique Binary Search Trees
    c++ 非常量引用产生临时对象
    redis的启动脚本
    leetcode 之 Insertion Sort List
    leetcode 之 Product of Array Except Self
    一致性hash的由来和原理
    我的vim 配置
    【原创】html页面清除浮动的几种方法
    实现本页面跳转的几种方式
    php输出语句用法总结
  • 原文地址:https://www.cnblogs.com/suwy/p/9513693.html
Copyright © 2011-2022 走看看