zoukankan      html  css  js  c++  java
  • 六、Kafka 用户日志上报实时统计之分析与设计

    一、项目整体概述

    • 简述项目的背景

    背景:
    用户行迹
    企业运营

    • 分析项目的目的
    通过对项目的分析,可以初步得到以下目的:
    •实时掌握用户动态
    •根据实时统计结果,适度推广
    •统计分析效果,快速合理的调整

    二、Producer 模块分析

    • 分析生产数据来源
    在用户上报日志中,每条日志记录代表用户的一次活动状态,示例数据如下:
     
    121.40.174.237 yx12345 [21/July/2015 13:25:45 +0000] chrome
     
    appid_5 "http://www.***.cn/sort/channel/2085.html"
     
    示例数据所包含的信息量,如下图所示:
     
    • Flume 到 Kafka 流程分析
    数据源生产流程分析,如下图所示:

    三、Consumer 模块分析

    • 消费数据来源分析
    消费数据源统计的KPI指标,如下图所示:
     
    • Kafka 到 Storm 流程分析
    数据源消费流程分析,如下图所示:
     

    四、项目整体设计

    1.项目详细设计流程

    项目详细设计流程,如下图所示:

    2.KPI 指标设计

    KPI 指标设计,如下图所示:
     
    本节我们项目进行了整体分析,并指导大家去分析 Kakfa 的 Producer 模块和 Consumer 模块,以及帮助大家去设计项目的开发流程等知识,应该掌握以下知识:
    •项目的背景和目的
    •分析 Producer 模块和 Consumer 模块
    •项目的整体开发流程
    •KPI 指标的设计
     
  • 相关阅读:
    windows server2008自动登录
    WindosServer2008 激活问题。
    [转]10分钟写出你的第一个包含CRUD的Rails程序
    SQL 2008操作相关
    没有域环境安装SharePoint2010
    D3D10彻底抛弃了固定图形管线
    MultiUser01 – 简介
    6种Socket I/O 模型性能比较,图
    Dr程序耗尽了CPU
    IDXGIOutput接口
  • 原文地址:https://www.cnblogs.com/pony1223/p/9781788.html
Copyright © 2011-2022 走看看