zoukankan      html  css  js  c++  java
  • 大数据08 流计算(高速 毫秒级)

    静态数据:比如数据仓库中的数据, 类似三峡水库中的水. (数据挖掘, OLAP 分析工具)

    流数据:  网络监控, 传感检测, 大量的, 流式的数据(不断的产生, 源源不断的到达). 比如 PM2.5 的检测, 这种需要实时的监控和处理(分析). 

    流数据的特性

     

     

     

     

    推送的方式: 实时查询的结果

    流计算应用场景

    电子商务网站, 根据用户输入, 实时分析, 然后推荐给用户分析结果.

    实时交通: 实时的分析交通的情况, 给出分析导航建议.

    Storm 毫秒级架构 (免费开源)

     

     

     

     

    Topology : 就是一个 Job. 每次编写的组件, 就是以Topology 来执行, 而且Topology 可以并行执行. 

     

     

     

     

     

     

     

     

     Spark 本身是面向批处理的, Spark Stream 就是通过把数据按照1秒为时间单位把数据分成一段一段的, 然后把每一个小段按照批处理的方式进行. 每一个小段就是一个RDD.

     Storm 程序

    单词统计为例子

  • 相关阅读:
    java-Swatch的坑
    Java基本数据类型
    jQuery属性、事件、链式编程、$冲突
    jQuery页面改变大小事件,滑动页面事件
    JavaScript简介
    CSS页面布局格式
    CSS Float(浮动)
    css定位
    CSS知识点2
    CSS知识点1
  • 原文地址:https://www.cnblogs.com/moveofgod/p/12384814.html
Copyright © 2011-2022 走看看