zoukankan      html  css  js  c++  java
  • Hadoop(4)MapReduce 任务的推测(speculative)执行 北漂

    Straggle(掉队者)是指那些跑的很慢但最终会成功完成的任务。一个掉队的Map任务会阻止Reduce任务开始执行。

    Hadoop不能自动纠正掉队任务,但是可以识别那些跑的比较慢的任务,然后它会产生另一个等效的任务作为备份,并使用首先完成的那个任务的结果,此时另外一个任务则会被要求停止执行。这种技术称为推测执行(speculative execution)。

    默认使用推测执行。

    属性描述
    mapreduce.map.speculative 控制Map任务的推测执行(默认true)
    mapreduce.reduce.speculative 控制Reduce任务的推测执行(默认true)
    mapreduce.job.speculative.speculativecap 推测执行功能的任务能够占总任务数量的比例(默认0.1,范围0~1)
    mapreduce.job.speculative.slownodethreshold 判断某个TaskTracker是否适合启动某个task的speculative task(默认1)
    mapreduce.job.speculative.slowtaskthreshold 判断某个task是否可以启动speculative task(默认1)
  • 相关阅读:
    运算符优先级问题
    文件操作工具,需者自取
    Text文档编码识别方法
    删除重复文件的程序
    修道士和野人问题
    猜数字游戏
    存储器层级图
    IL指令汇总
    输入1~8,每个数字不重复
    厦门大学线下编程比赛第一题:求和
  • 原文地址:https://www.cnblogs.com/yjt1993/p/9481625.html
Copyright © 2011-2022 走看看