zoukankan      html  css  js  c++  java
  • 实时数据压测二 pei

    flink实时数据处理:

    ReadFromJDQ3

    1)消费JDQ的必要信息,通过参数传入,有6个参数
    2)获取flink JDQ3的鉴权客户端
    3)根据鉴权客户端获取消费属性的配置
    4)构建应用环境ENV和checkpoint机制
    5)构建JDQ3(基于kafka)对应的消费客户端,flink用来消费实时订单消息
    6) 根据自己的业务构建计算DAG
    7)打印Stream流打印到标准输出,触发job执行
     
    WriteToJDQ3
    1) 生产JDQ的必要信息,通过参数传入,有5个参数
    2)获取Flink JDQ3的鉴权客户端
    3)根据鉴权客户端获取生产属性配置(已设置必要连接信息)
    4)构建应用环境ENV和checkpoint机制
    5)构建JDQ3(基于kafka)对应的生产客户端,flink用于生产数据
    6)根据自己的业务构建计算DAG

    7)写数据到JDQ3,触发job执行

    消费JDQ2.0,然后将数据写入ES1.x
    用flink计算实时特征,然后写入ES
  • 相关阅读:
    JSON与JSONP的区别
    BFC(块级格式上下文)
    面试题--新
    javascript 类数组对象
    WebP 图片实践之路
    HTTP,HTTP2.0,SPDY,HTTPS你应该知道的一些事
    前端面试题目
    JS 中的事件设计
    博客声明
    1.2 线性表的链式表示
  • 原文地址:https://www.cnblogs.com/pcy226/p/15702302.html
Copyright © 2011-2022 走看看