1. 需求分析
离线T+1 需求
一般是根据前一日的数据生成报表等数据,虽然统计指标、报表繁多,但是对时效性不敏感。
实时T+0 需求
主要侧重于对当日数据的实时监控,通常业务逻辑相对离线需求简单一下,统计指标也少一些,但是更注重数据的时效性,以及用户的交互性。
即席需求
临时需求,可用即席查询如Impala、Presto、 Kylin、 Druid等
关于日志埋点 发送的两种策略:
① 周期性发送,把一段时间的日志,积攒起来,周期性的发送到后台;对日志后台收集系统压力小;非实时
② 直接发送,时效性非常好,后台收集压力大;
1.1 实时需求:
比如:
1、当日活跃用户及分时趋势图,昨日对比图
日志服务器 --- Kafka --- Spark --- Hbase
2、当日新增用户及分时趋势图,昨日对比图
3、当日交易额及分时趋势图,昨日对比图
业务服务器 --Mysql ---Canal ---Kafka --- Hbase
4、当日订单数及分时趋势图,昨日对比图
5、购物券功能风险预警
日志服务器 -- Kafka --- Spark --- ES
6、用户购买明细灵活分析功能
业务服务器 -- Mysql -- Canal --- Kafka -- ES