zoukankan      html  css  js  c++  java
  • Airflow 重跑dag中部分失败的任务

    重跑dag中部分失败的任务

    例如 dagA 中, T1 >> T2 >> T3 >> T4 >> T5  ,其中 T1 T2 成功, T3 失败, T4  T5因为依赖 T3,也不会运行。

    跳过 T1   T2  重跑 T3 T4 T5 的方法是:

    (1)点击 T3 clear ,默认会clear T4  T5 的状态

    (2)返回到上一级,点击 dagA 名字,点击 Recursive 和 Downstream (airflow的界面,看不出来到底有没有选择,反正各点一次,  Uncheck ),然后点击 run

    这方法只对 subdag 有用

    还有就是airflow1.8   1.9  中,如果使用 subdag ,那么 pool 中设置的 slot 是无效的,算是一个 airflow 的bug

    airflow1.10 中,没有去修复这个bug,而是在subdag 默认是使用 顺序(串行)执行, 非并行方式执行。如果一定要并行,

    需要自己指定为CeleryOperator

  • 相关阅读:
    C#
    C#
    C#
    创建一个ROS包
    创建一个工作空间
    ROS的文件系统
    单一职责原因
    策略模式
    UML类图
    简单工厂模式
  • 原文地址:https://www.cnblogs.com/zjc10203/p/9671059.html
Copyright © 2011-2022 走看看