zoukankan      html  css  js  c++  java
  • Spark Streaming简介

    离线计算和实时计算对比

    1)数据来源
    离线:HDFS历史数据 数据量比较大
    实时:消息队列(Kafka),实时新增/修改记录过来的某一笔数据
    2)处理过程
    离线:MapReduce: map+reduce
    实时:Spark(DStream/SS)
    3)处理速度
    离线:慢
    实时:快速
    4)进程
    离线:启动+销毁
    实时:7*24,永不停止的

    实时流处理框架对比

    1)Apache Storm
    http://storm.apache.org
    open source distributed realtime
    2)Apache Spark Streaming
    微小批次处理,非真正实时
    3)IBM Stream
    4) Yahoo!S4
    5)LinkedIn Kafka
    kafka.apache.org
    6)flink
    flink.apache.org

  • 相关阅读:
    iOS基础
    iOS基础
    iOS基础
    iOS基础
    iOS基础
    iOS基础
    iOS基础
    简单DP + 高精
    高精度计算
    树 (tree)
  • 原文地址:https://www.cnblogs.com/ycdx2001/p/9797412.html
Copyright © 2011-2022 走看看