zoukankan      html  css  js  c++  java
  • 延迟调度总结

    流式计算的调度复杂性在于需要考虑公平性和数据本地化。

    FIFO调度
    FIFO是一个简单的调度策略,适合用于作业并发少,或者无作业并发,且作业的map任务数量大,最好是大于等于集群的slot数量。FIFO调度中经典的两个问题

    head-of-line
    小作业,多作业并发的场景,量化数据本地化的公式为,为总的slot,为map任务需要的slot

    sticky slots
    大作业,多作业并发,slot数量小于总作业所需的slot数。作业能达到的最大本地化是

    延迟调度
    适用于大作业、适用于小作业、适用于长作业。延迟调度是一个综合表现比较好的调度策略。注意:大量作业并发也会存在数据本地化偏低的情况。

    Hadoop延迟调试

    1. 多级延迟调度

    2. map任务做延迟调度,reduce任务不做延迟调度

    3. 本地化公式:=73%

    D:每秒能释放的slot=S/T

  • 相关阅读:
    shiro之cache问题
    SpringMVC关于请求参数乱码问题
    js递归错误
    说说Javac
    说说CDN
    谈谈HTTP
    谈谈Ajax(二)
    谈谈Ajax(一)
    记一次关于SSM框架的使用错误
    MP实战系列(十四)之分页使用
  • 原文地址:https://www.cnblogs.com/happyday56/p/11715546.html
Copyright © 2011-2022 走看看