zoukankan      html  css  js  c++  java
  • flink 读JDQ和写JDQ的流程

    ReadFromJDQ3
    1)消费JDQ的必要信息,通过参数传入,有6个参数
    2)获取flink JDQ3的鉴权客户端
    3)根据鉴权客户端获取消费属性的配置
    4)构建应用环境ENV和checkpoint机制
    5)构建JDQ3(基于kafka)对应的消费客户端,flink用来消费实时订单消息
    6) 根据自己的业务构建计算DAG
    7)打印Stream流打印到标准输出,触发job执行
     
    WriteToJDQ3
    1) 生产JDQ的必要信息,通过参数传入,有5个参数
    2)获取Flink JDQ3的鉴权客户端
    3)根据鉴权客户端获取生产属性配置(已设置必要连接信息)
    4)构建应用环境ENV和checkpoint机制
    5)构建JDQ3(基于kafka)对应的生产客户端,flink用于生产数据
    6)根据自己的业务构建计算DAG

    7)写数据到JDQ3,触发job执行

    消费JDQ2.0,然后将数据写入ES1.x
    用flink计算实时特征,然后写入ES
  • 相关阅读:
    洛谷 P3391文艺平衡树 【fhq_treap】
    食物链(转自yekehe2002大神)
    TX
    黑匣子——KEY
    Splay初学习
    BZOJ2330_糖果_KEY
    BZOJ3224_普通平衡树_KEY
    BZOJ2730_矿场搭建_KEY
    BZOJ1452_Count_KEY
    初识主席树_Prefix XOR
  • 原文地址:https://www.cnblogs.com/Allen-rg/p/11659964.html
Copyright © 2011-2022 走看看