zoukankan      html  css  js  c++  java
  • Flink中逻辑计划和物理计划的概念划分和对应关系

    逻辑计划

    1. logicGraph或者jobGraph,其端点为operator,edge为数据流向。
    2. operator往往代表一个函数。
    3. 同一个分区内的具有连续上下游关系的函数组成operator-chain,一个operator-chain内的数据来流动过程中不会出现序列化和分区间的网络通信。

    物理计划

    1. physicalGraph是逻辑执行计划为并行执行而翻译的结果,其端点为task,edge为数据流向及数据分区。
    2. 一个task描述了一个operator或者operator-chain在分布式环境下对应的执行实例,是最小的调度单元。
    3. 一个sub-task是处理分区数据的task在分布式环境下的一个分身。
    4. 一个slot一时间只能执行一个sub-task(业务上一个slot一时间只能处理一条消息)。
  • 相关阅读:
    20210603
    20210602
    20210601
    20210531-已编辑
    2021053101
    操作系统笔记(一)
    尘埃落定,扬帆起航
    RTL级低功耗设计
    关于毛刺
    电路级拾珍
  • 原文地址:https://www.cnblogs.com/JaxYoun/p/12336990.html
Copyright © 2011-2022 走看看