zoukankan      html  css  js  c++  java
  • 特征服务典型场景-离线与实时统计

    例如有这样一个需求:业务方希望获取司机实时更新的累计完单量,需保证收到完单事件后秒级更新。由于滴滴订单量很大,单个司机的完单量从几单到几万单不等,直接查询底层存储如MySQL、ElasticSearch等存储,会对底层存储造成很大查询压力,并且延时也较高,在高并发等情况下容易出现各种问题。在特征服务这边采用批处理+流处理这样的Lambda架构来实现这类需求,整个的数据流如下:

    可以看到这是一个典型的Lambda架构,不了解的可以参考维基百科:Lambda architecture

    在统计特征汇总历史完单量和实时完单量,需要注意以下情况:当T-1天未准备就绪时,需要使用T-2天的历史数据、T-1天实时数据、T天实时数据相加。举例如下:

    假设批处理计算司机历史完单量的任务平均在上午6点完成并导入KV存储系统。

    • 在6月10日0到6时期间,计算逻辑如下:截止到6月8日(含)的历史完单量 + 6月9日的实时完单量 + 6月10日的实时完单量。
    • 在6月10日6到24时期间,计算逻辑如下:截止到6月9日(含)的历史完单量 + 6月10日的实时完单量。
  • 相关阅读:
    第1次系统综合实践作业
    个人作业——软件工程实践总结
    个人作业——软件评测
    2019软件工程第五次作业
    预习非数值数据的编码方式
    预习原码补码作业
    C语言寒假大作战04
    C语言寒假大作战03
    C语言寒假大作战02
    C语言寒假大作战01
  • 原文地址:https://www.cnblogs.com/sxpujs/p/13113766.html
Copyright © 2011-2022 走看看