zoukankan      html  css  js  c++  java
  • 三 概要模式 3) MR计数器计数 。无 reduce 计数

    计数器模式讲解:
            先讲一下,就是说只用 Map 阶段  不需要 Reduce 。 也就是说去掉了中间输出,而是Map 直接输出结果。大大提高了 MR 的效率且节省了 MR 中间输出读入的 IO 。

    Hadoop 框架支持
            在 MR 结束时,只需要简单的获取框架的计数器信息并将结果写入到任意地方。 包括日志、本地文件系统、HDFS 等。  Hadoop 框架中内置了一些计数器的支持。 例如输入、输出的记录数和字节数。 Hadoop 支持开发者根据自己的需要创建自定义计数器。 

    适用场景:
            在一个大数据集上收集技术或汇总。
            需要创建的计数器数目很小——两位数字以内。

    结构:
            简单的讲:TaskTracker 聚合并增量汇报给 JobTracker 。 JobTracker 完成整体聚合。 所有的工作只需要在 map 过程中完成。 不需要 combiner、partitioner 或 reduce 过程。




    God has given me a gift. Only one. I am the most complete fighter in the world. My whole life, I have trained. I must prove I am worthy of someting. rocky_24
  • 相关阅读:
    mmall商城用户模块开发总结
    Hadoop伪分布式安装与配置
    1.2假设空间
    1.1基本术语
    文献笔记
    文献下载
    文献管理
    文献检索
    python:函数详解2
    python:函数详解
  • 原文地址:https://www.cnblogs.com/rocky24/p/b8d305cf1f9d8b863c85359e6eff7ef2.html
Copyright © 2011-2022 走看看