zoukankan      html  css  js  c++  java
  • 乱谈马拉松和mapreduce的关系

    做为一个业务马拉松爱好者和一个不太专业的IT从业者(十多年开发不会,业务略懂,没形成自己的价值体系,啥啥没心得,得过且过十几年),在马拉松的时候想到了这个对照关系。

    那就随便写写,看到了博君一笑。

    hadoop的map阶段,是通过transform操作,将数据进行转换,这个阶段数据都是在各个机器上,不进行shuffle操作;

    跑步的map阶段,有经验的人都知道,根据起跑位置的差异,会有跑的快的人在后面;等你慢慢追上别人的时候,就是map前面人的配速,当我能跟上你的配速,那就证明map上了;

    hadoop的reduce阶段,是将数据化简合并归集的过程,会涉及大量的磁盘和网络数据传输操作;

    跑步的reduce阶段,跟上面的解释就差了很远。就是减速。核心思想,你必须减速了。跑步,是自己跟自己的身体、意志力搏斗的过程,会有很多小伙伴在你身边跑过,但你必须清楚自己的身体状态,该减速的时候必须减速,否则对身体的伤害是不可逆的。

    写了这么多,就是去年唐山马拉松的时候瞎想的。

    使用的mapreduce,是分布式数据平台计算数据的核心;

    跑着的mapreduce,是自己跟自己较劲的过程,在前阶段,可以加速,map别人的配速;在后阶段,要懂得减速,根据自己身体情况reduce配速,让自己的身体能坚持跑完全程。

    顺便写下,去年唐马算是跑完了,后半程到38公里脚脖疼,走了一小会儿,找志愿者喷了下云南白药慢跑过重点。进4小时。

  • 相关阅读:
    vue如何实现数据双向绑定?
    vuex 学习--由浅入深
    Vue.js开发去哪儿网WebApp
    前端必学---JavaScript数据结构与算法---简介
    学习JavaScript数据结构与算法---前端进阶系列
    前端一面/面试常考题1-页面布局:假设高度已知,请写出三栏布局,其中左栏、右栏宽度各为300px,中间自适应。
    flask之路由详解
    flask的配置文件
    flask的响应
    flask简介
  • 原文地址:https://www.cnblogs.com/yunzaixiao/p/13062988.html
Copyright © 2011-2022 走看看