zoukankan      html  css  js  c++  java
  • Flink流式引擎技术分析--大纲

    Flink简介

      Flink组件栈

      Flink特性

        流处理特性

        API支持

        Libraries支持

        整合支持

      Flink概念

        Stream、Transformation、Operator

        Parallel Dataflow

        Task、Operator Chain

        Window

        Time

      Flink架构

        JobManager

        TaskManager

        Client

      Flink调度

        逻辑调度

        物理调度

      Flink容错

    Flink的集群部署

      环境准备

      集群安装

      集群启动

      案例测试

    整体执行过程

    数据流图的分析

      生成执行计划

        源码分析

      StreamGraph的生成

        原理分析

        源码分析

      JobGraph的生成

        源码分析

        原理分析

      ExcutionGraph的生成

        源码分析

        原理分析

      物理执行图

        源码分析

    transformation的类型

      分区器的类型

        GlobalPartitioner

        ForwardPartitioner

        ShufflePartitioner

        HashPartitioner

        CustomPartitionerWrapper

        BroadcastPartitioner

        RebalancePartitioner

    Flink客户端提交作业

    生成消费原理

      序列化阶段和结果分区生产阶段

      通知消费者消费

      消费者做具体消费

      反序列化阶段

    Flink资源分配

      源码分析

      资源分配原理分析

    Task的任务执行分析

  • 相关阅读:
    filter 静态资源
    getRequestURI,getRequestURL的区别
    基于NodeJs的网页爬虫的构建(二)
    基于NodeJs的网页爬虫的构建(一)
    Reverse Words in a String
    Sum Root to Leaf Numbers
    Search Insert Position
    Wildcard Matching
    Trapping Rain Water
    Gray Code
  • 原文地址:https://www.cnblogs.com/liuzhongfeng/p/8590247.html
Copyright © 2011-2022 走看看