zoukankan      html  css  js  c++  java
  • 两款高性能并行计算引擎Storm和Spark比較

    对Spark、Storm以及Spark Streaming引擎的简明扼要、深入浅出的比較,原文发表于踏得网


    Spark基于这种理念。当数据庞大时,把计算过程传递给数据要比把数据传递给计算过程要更富效率。每一个节点存储(或缓存)它的数据集,然后任务被提交给节点。

    所以这是把过程传递给数据。这和Hadoop map/reduce很相似。除了积极使用内存来避免I/O操作,以使得迭代算法(前一步计算输出是下一步计算的输入)性能更高。

    Shark仅仅是一个基于Spark的查询引擎(支持ad-hoc暂时性的分析查询)

    而Storm的架构和Spark截然相反。

    Storm是一个分布式流计算引擎。每一个节点实现一个主要的计算过程,而数据项在互相连接的网络节点中流进流出。和Spark相反,这个是把数据传递给过程。

    两个框架都用于处理大量数据的并行计算。

    Storm在动态处理大量生成的“小数据块”上要更好(比方在Twitter数据流上实时计算一些汇聚功能或分析)。

    Spark工作于现有的数据全集(如Hadoop数据)已经被导入Spark集群,Spark基于in-memory管理能够进行快讯扫描,并最小化迭代算法的全局I/O操作。

    只是Spark流模块(Streaming Module)倒是和Storm相相似(都是流计算引擎),虽然并不是全然一样。

    Spark流模块先汇聚批量数据然后进行数据块分发(视作不可变数据进行处理)。而Storm是仅仅要接收到数据就实时处理并分发。

    不确定哪种方式在数据吞吐量上要具优势,只是Storm计算时间延迟要小。

    总结下,SparkStorm设计相反,而Spark Steaming才和Storm相似。前者有数据平滑窗体(sliding window),而后者须要自己去维护这个窗体。


    By Techbrood Co.

  • 相关阅读:
    一道百度2014校招笔试题
    leetcode_question_119 Pascal's Triangle II
    STL 查找vector容器中的指定对象:find()与find_if()算法
    QT类的继承结构
    poj 3254 Corn Fields (状态压缩DP)
    从vector容器中查找一个子串:search()算法
    linux 提示符绝对路径
    ssh加密公私钥
    yum-plugin-priroites这个插件的一个文件。
    什么是EPEL 及 Centos上安装EPEL
  • 原文地址:https://www.cnblogs.com/ldxsuanfa/p/9994727.html
Copyright © 2011-2022 走看看