zoukankan      html  css  js  c++  java
  • Hadoop(4)MapReduce 任务的推测(speculative)执行 北漂

    Straggle(掉队者)是指那些跑的很慢但最终会成功完成的任务。一个掉队的Map任务会阻止Reduce任务开始执行。

    Hadoop不能自动纠正掉队任务,但是可以识别那些跑的比较慢的任务,然后它会产生另一个等效的任务作为备份,并使用首先完成的那个任务的结果,此时另外一个任务则会被要求停止执行。这种技术称为推测执行(speculative execution)。

    默认使用推测执行。

    属性描述
    mapreduce.map.speculative 控制Map任务的推测执行(默认true)
    mapreduce.reduce.speculative 控制Reduce任务的推测执行(默认true)
    mapreduce.job.speculative.speculativecap 推测执行功能的任务能够占总任务数量的比例(默认0.1,范围0~1)
    mapreduce.job.speculative.slownodethreshold 判断某个TaskTracker是否适合启动某个task的speculative task(默认1)
    mapreduce.job.speculative.slowtaskthreshold 判断某个task是否可以启动speculative task(默认1)
  • 相关阅读:
    POJ 1019 组合计数
    POJ 3252 组合计数
    SPJ 与 Student 数据库的创建于数据插入
    POJ 1496 POJ 1850 组合计数
    Java常用类库--大数处理类
    POJ 2492 并查集应用的扩展
    POJ 3268 双向Dijkstra
    线段树(带删除节点)
    西工大10级保研机试 柱状图
    KMP专场 POJ
  • 原文地址:https://www.cnblogs.com/yjt1993/p/9481625.html
Copyright © 2011-2022 走看看