zoukankan      html  css  js  c++  java
  • 实时交互平台流程与技术分析

      最近几个月一直在做基于storm的流式处理,索性整理下所有的知识点与技术知识。

      一、数据准备

      1、首先,我们需要用户的所有数据,使用MapReduce进行数据处理,生成业务宽表导入hbase与Redis,用于后续实时处理直接从Redis中获取相应数据,减少读写磁盘IO的消耗。

      二、消息的接入

      1、传入的数据是经过二进制处理的,所以使用jetty轻量级服务对传入的报文进行接入解析,同时部署多个服务,使用nginx进行负载均衡。

      2、每个服务同时启动多个线程进行消息的接入,通过blockingQueue进行存储,随后进行报文解析,序列化后发送对应主题的kafka.

      三、storm处理

      1、使用集成的kafkaspout进行消息的接入代替storm的spout,降低工程复杂度,可直接编写bolt进行业务逻辑处理,随后进行数据的一次性过滤bolt,验证消息的正确性并并封装入对象中。

      2、通过消息中的相应主键,从Redis中加载该用户的全量数据,以便后续业务处理(存入hbase是以防redis出现问题进而再查询hbase,同时hbase中的rowkey做了散列,数据均匀分布在每个region中)。

      3、加载配置活动规则,这些规则通过前台web系统配置保存,存储于redis中。对多个规则进行遍历匹配,封装成一个大的对象,传入下游推送拓扑。

      4、推送拓扑在接收到消息后,从对象中获取封装的消息对象的渠道对象,对其进行遍历发送至不同的渠道。

  • 相关阅读:
    jemeter代理设置
    iphone代码签名相关
    iphone 程序部署和发布链接
    iphone 代码片段2
    iphone给tabbar添加数字
    我的开源目录(持续更新中):
    WPF笔记(1.2 Navigation导航)——Hello,WPF!
    WPF笔记(0)
    棋牌游戏大厅简介
    WPF笔记(1.3 属性元素)——Hello,WPF!
  • 原文地址:https://www.cnblogs.com/yangsy0915/p/5806060.html
Copyright © 2011-2022 走看看