zoukankan      html  css  js  c++  java
  • Flink流式引擎技术分析--大纲

    Flink简介

      Flink组件栈

      Flink特性

        流处理特性

        API支持

        Libraries支持

        整合支持

      Flink概念

        Stream、Transformation、Operator

        Parallel Dataflow

        Task、Operator Chain

        Window

        Time

      Flink架构

        JobManager

        TaskManager

        Client

      Flink调度

        逻辑调度

        物理调度

      Flink容错

    Flink的集群部署

      环境准备

      集群安装

      集群启动

      案例测试

    整体执行过程

    数据流图的分析

      生成执行计划

        源码分析

      StreamGraph的生成

        原理分析

        源码分析

      JobGraph的生成

        源码分析

        原理分析

      ExcutionGraph的生成

        源码分析

        原理分析

      物理执行图

        源码分析

    transformation的类型

      分区器的类型

        GlobalPartitioner

        ForwardPartitioner

        ShufflePartitioner

        HashPartitioner

        CustomPartitionerWrapper

        BroadcastPartitioner

        RebalancePartitioner

    Flink客户端提交作业

    生成消费原理

      序列化阶段和结果分区生产阶段

      通知消费者消费

      消费者做具体消费

      反序列化阶段

    Flink资源分配

      源码分析

      资源分配原理分析

    Task的任务执行分析

  • 相关阅读:
    javascript日期相减,求时间差
    Python向PHP发起GET与POST请求
    Discuz安装
    Java程序猿的JavaScript学习笔记(10—— jQuery-在“类”层面扩展)
    聚合类新闻client的改进
    Spring MVC 框架搭建及具体解释
    兼容placeholder
    创建cocos2d-x+lua项目
    纯CSS弹出层,城市切换效果
    tcp_recvmsg 函数具体解释
  • 原文地址:https://www.cnblogs.com/liuzhongfeng/p/8590247.html
Copyright © 2011-2022 走看看