离线计算和实时计算对比
1)数据来源
离线:HDFS历史数据 数据量比较大
实时:消息队列(Kafka),实时新增/修改记录过来的某一笔数据
2)处理过程
离线:MapReduce: map+reduce
实时:Spark(DStream/SS)
3)处理速度
离线:慢
实时:快速
4)进程
离线:启动+销毁
实时:7*24,永不停止的
实时流处理框架对比
1)Apache Storm
http://storm.apache.org
open source distributed realtime
2)Apache Spark Streaming
微小批次处理,非真正实时
3)IBM Stream
4) Yahoo!S4
5)LinkedIn Kafka
kafka.apache.org
6)flink
flink.apache.org