zoukankan      html  css  js  c++  java
  • 2016-12-20

    初识Storm

    1.storm有一个分支,则这个分支一个事jstorm,这个是阿里巴巴将要开源的
    2.离线计算:
    批量获取数据,批量传输数据
    代表技术:Sqoop批量导入数据,HDFS批量存储数据,MapReduce批量计算数据
    大量消耗hive,消耗大量SQL语句
    主要工作量:
    1.hivesql(工作量较多)
    2.调度平台
    3.hadoop 集群运维
    4.数据清洗(脚本语言)
    5.元数据管理
    6.数据稽查
    7.数据仓库模型架构

    3.流式计算:
    数据实时产生产生,数据实时传输,数据实时计算,实时展示
    代表技术:Flume实时获取数据,Kafka/metag实时数据存储,Storm/JStorm实时数据计算,Redis实时结果缓存,持久化存储
    一句话总结:将源源不断的产生的数据实时手机并实时计算,尽可能快的得到计算结果

    4.离线计算与实时计算的区别
    最大的区别:实时收集,实时计算,实时展示

    Storm用来实时处理数据,特点:低延迟,高可用,分布式,可扩展,数据不丢失,提供简单容易理解的接口,便于开发。

    我们为什么要进行实时监控:
    1.例如11.11,我们可以监控自己的流量情况,根据实时的情况可以发一些优惠券,从而可以最大限度的刺激消费
    2.对于业务人员,可以看自己的所管辖的业务范围内,根据用户所喜爱的东西来适当的发布优惠券,例如对于用户所喜爱的,我们可以少发布优惠券,对于用户不喜爱的产品,我们可以大量发布优惠券,从而可以起到刺激消费的功能,
    以上两点就是为什么要进行实时监控的原因

    海量数据:
    数据类型很多,产生数据的终端很多,处理数据能力增强
    Storm用来实时处理数据,特点:低延迟,高可用,分布式,可扩展,数据不丢失,提供简单容易理解的接口,便于开发。

    何当共剪西窗烛,却话巴山夜雨时
  • 相关阅读:
    AFHTTPRequestOperationManager的那些事
    iOS缩放图片
    iOS截图
    网络服务
    Six
    正文处理命令及tar命令
    用户,群组和权限 四
    用户,群组和权限 三
    用户,群组和权限 二
    用户,群组和权限 一
  • 原文地址:https://www.cnblogs.com/wnbahmbb/p/6201249.html
Copyright © 2011-2022 走看看