zoukankan
html css js c++ java
离线计算框架 MapReduce
离线计算框架 MapReduce
思想:分而治之(将大数据集分为小的数据集)
将计算过程分为两个阶段,Map和Reduce
Map阶段并行处理输入数据
Reduce阶段对Map结果进行汇总
Shuffle连接Map和Reduce两个阶段
Map Task将数据写到本地磁盘
Reduce Task从每个Map Task上读取一份数据
仅适合离线批处理
具有很好的容错性和扩展性
适合简单的批处理任务
缺点明显
启动开销大、过多使用磁盘导致效率低下等
查看全文
相关阅读:
Arr
class4
class3联大网页
class33
class3
人机交换 NO 1书签
大数据的框架与特点
mapreduce排序
mapreduce求平均数
mapreduce去重
原文地址:https://www.cnblogs.com/Zlcode/p/8404154.html
最新文章
信息传递
单词接龙
美国血统
格子染色
细胞分裂
道路游戏
互斥的数
排排站
大逃离
火星人
热门文章
Jam的计数法
画家问题
水叮当的舞步
车站分级
小朋友的数字
比例简化
c++银行管理系统
判断是否为素数
冒泡排序
链表万历算法
Copyright © 2011-2022 走看看