zoukankan      html  css  js  c++  java
  • MapReduce04

    ===================== MapReduce内部机制:本地性 =====================

    什么是数据本地性(data locality)-------------------------->

    如果任务运行在它将处理的数据所在的节点,则称该任务 具有“数据本地性”

    本地性可避免跨节点或机架数据传输,提高运行效率

    数据本地性分类 -------------------------->

    同节点(node-local) 

    同机架(rack-local) 

    其他(off-switch)

    ===================== MapReduce内部机制:推测执行 =====================

    作业完成时间取决于最慢的任务完成时间 ---------------------->

    一个作业由若干个Map任务和Reduce任务构成

    因硬件老化、软件Bug等,某些任务可能运行非常慢 

    推测执行机制  ---------------------->

    发现拖后腿的任务,比如某个任务运行速度远慢于任务平均速度

    为拖后腿任务启动一个备份任务,同时运行

    谁先运行完,则采用谁的结果

    不能启用推测执行机制  ---------------------->

    任务间存在严重的负载倾斜 

     特殊任务,比如任务向数据库中写数据

     

  • 相关阅读:
    47. Permutations II
    56. Merge Intervals
    57. Insert Interval
    常见算法问题
    67. Unique Paths
    版权声明
    121. Best Time to Buy and Sell Stock
    Leetcode backtracking 合集
    转载 int和string 类型的互换
    prim算法,克鲁斯卡尔算法---最小生成树
  • 原文地址:https://www.cnblogs.com/xtdxs/p/7078420.html
Copyright © 2011-2022 走看看