zoukankan      html  css  js  c++  java
  • 实时-1.0 分析需求| 整体架构

    1. 需求分析

    离线T+1 需求

         一般是根据前一日的数据生成报表等数据,虽然统计指标、报表繁多,但是对时效性不敏感。
    实时T+0 需求

        主要侧重于对当日数据的实时监控,通常业务逻辑相对离线需求简单一下,统计指标也少一些,但是更注重数据的时效性,以及用户的交互性。

    即席需求

       临时需求,可用即席查询如Impala、Presto、 Kylin、 Druid等

    关于日志埋点 发送的两种策略:

      ① 周期性发送,把一段时间的日志,积攒起来,周期性的发送到后台;对日志后台收集系统压力小;非实时

      ② 直接发送,时效性非常好,后台收集压力大;

    1.1 实时需求:

    比如:

     1、当日活跃用户及分时趋势图,昨日对比图

       日志服务器 --- Kafka --- Spark --- Hbase

    2、当日新增用户及分时趋势图,昨日对比图

    3、当日交易额及分时趋势图,昨日对比图

          业务服务器 --Mysql ---Canal ---Kafka --- Hbase   

    4、当日订单数及分时趋势图,昨日对比图

    5、购物券功能风险预警

         日志服务器 -- Kafka --- Spark --- ES

    6、用户购买明细灵活分析功能

        业务服务器 -- Mysql -- Canal --- Kafka -- ES

     2. 统计架构图:

       2.1 实时架构:

      2.2 离线架构:

  • 相关阅读:
    1-1-折纸问题
    调整数组顺序使奇数位于偶数前面
    在O(1)时间删除链表结点
    打印1到最大的n位数
    数值的整数次方
    二进制中1的个数
    变态跳台阶
    旋转数组的最小数字
    用两个栈实现队列
    Swift学习笔记(5):集合类型
  • 原文地址:https://www.cnblogs.com/shengyang17/p/10853732.html
Copyright © 2011-2022 走看看