zoukankan      html  css  js  c++  java
  • Storm与Spark区别

    Storm擅长于动态处理大量实时生产的小数据块,概念上是将小数据量的数据源源不断传给过程;

    Spark擅长对现有的数据全集做处理,概念是将过程传给大数据量的数据。

    二者设计思路相反。Storm侧重于处理的实时性,Spark侧重处理庞大数据(类似于Hadoop的MR)。

    Spark流模块(Spark Streaming)与Storm类似,但有区别:

    1.Storm纯实时,来一条数据,处理一条数据;SparkStreaming准实时,对一个时间段内的数据收集起来,作为一个RDD,再做处理。

    2.Storm响应时间毫秒级;Spark Streaming响应时间秒级

    3.Storm可以动态调整并行度;SparkStreaming不行

    Storm应用场景:

    1、对于需要纯实时,不能忍受1秒以上延迟的场景

    2、要求可靠的事务机制和可靠性机制,即数据的处理完全精准

    3、如果还需要针对高峰低峰时间段,动态调整实时计算程序的并行度,以最大限度利用集群资源

    Spark Streaming应用场景:

    1、Spark Streaming可以和Spark Core、Spark SQL无缝整合,如果一个项目除了实时计算之外,还包括了离线批处理、交互式查询等业务功能,考虑使用Spark Streaming。

  • 相关阅读:
    Asp.net MVC中表单验证属性的使用
    asp.net mvc3用file上传文件大小限制问题
    Asp.net MVC中ReturnUrl的使用
    Asp.net mvc+EF+Sql Server2008数据库缓存依赖
    .Net有哪些大型项目、大型网站的案例?
    Canvas 继续学习
    React 表单与事件
    React Ajax
    React生命周期
    React 添加一个事件
  • 原文地址:https://www.cnblogs.com/moxiaotao/p/9939047.html
Copyright © 2011-2022 走看看