zoukankan      html  css  js  c++  java
  • Flink流式引擎技术分析--大纲

    Flink简介

      Flink组件栈

      Flink特性

        流处理特性

        API支持

        Libraries支持

        整合支持

      Flink概念

        Stream、Transformation、Operator

        Parallel Dataflow

        Task、Operator Chain

        Window

        Time

      Flink架构

        JobManager

        TaskManager

        Client

      Flink调度

        逻辑调度

        物理调度

      Flink容错

    Flink的集群部署

      环境准备

      集群安装

      集群启动

      案例测试

    整体执行过程

    数据流图的分析

      生成执行计划

        源码分析

      StreamGraph的生成

        原理分析

        源码分析

      JobGraph的生成

        源码分析

        原理分析

      ExcutionGraph的生成

        源码分析

        原理分析

      物理执行图

        源码分析

    transformation的类型

      分区器的类型

        GlobalPartitioner

        ForwardPartitioner

        ShufflePartitioner

        HashPartitioner

        CustomPartitionerWrapper

        BroadcastPartitioner

        RebalancePartitioner

    Flink客户端提交作业

    生成消费原理

      序列化阶段和结果分区生产阶段

      通知消费者消费

      消费者做具体消费

      反序列化阶段

    Flink资源分配

      源码分析

      资源分配原理分析

    Task的任务执行分析

  • 相关阅读:
    SQL应用初级指南
    XML 文档的基本操作
    SQL中单引号的转义
    C# (输入输出流)
    C# 文件与目录的基本操作(System.IO)
    数据库对象命名
    .Net 中的反射(反射特性) Part.3 (转载)
    C# 中的委托和事件(详解)
    SQL Server TransactSQL 编程
    Brush 色谱
  • 原文地址:https://www.cnblogs.com/liuzhongfeng/p/8590247.html
Copyright © 2011-2022 走看看