zoukankan      html  css  js  c++  java
  • Flink 支持的重启策略有哪些

    Flink支持不同的重启策略,可以控制在发生故障时如何重启新启动作业。

    默认重启策略是通过Flink的配置文件设置的flink-conf.yaml。配置参数restart-strategy定义采用的策略。

    如果未启用检查点,则使用“无重启”策略。如果激活了检查点并且尚未配置重启策略,则固定延迟策略将用于 Integer.MAX_VALUE重启尝试。

    重启策略分为:固定延迟重启策略、故障率重启策略、无重启策略、后备重启策略。

    1.固定延迟重启策略
    固定延迟重启策略是尝试给定次数重新启动作业。如果超过最大尝试次数,则作业失败。在两次连续重启尝试之间,会有一个固定的延迟等待时间。

    通过在flink-conf.yaml中配置参数:

    # fixed-delay:固定延迟策略
    restart-strategy: fixed-delay

    # 尝试5次,默认Integer.MAX_VALUE
    restart-strategy.fixed-delay.attempts: 5

    # 设置延迟时间10s,默认为 akka.ask.timeout时间
    restart-strategy.fixed-delay.delay: 10s

    2.故障率重启策略
    故障率重启策略在故障后重新作业,当设置的故障率(failure rate)超过每个时间间隔的故障时,作业最终失败。在两次连续重启尝试之间,重启策略延迟等待一段时间。

    在flink-conf.yaml文件配置

    # 设置重启策略为failure-rate
    restart-strategy: failure-rate

    # 失败作业之前的给定时间间隔内的最大重启次数,默认1
    restart-strategy.failure-rate.max-failures-per-interval: 3

    # 测量故障率的时间间隔。默认1min
    restart-strategy.failure-rate.failure-rate-interval: 5min

    # 两次连续重启尝试之间的延迟,默认akka.ask.timeout时间
    restart-strategy.failure-rate.delay: 10s
    在代码中设置:

    ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

    // 3为最大失败次数;5min为测量的故障时间;10s为2次间的延迟时间
    env.setRestartStrategy(RestartStrategies.failureRateRestart(3,Time.of(5, TimeUnit.MINUTES),Time.of(10, TimeUnit.SECONDS)));

    3.无重启策略
    作业直接失败,不尝试重启。

    在flink-conf.yaml中配置:

    restart-strategy: none
    在代码中实现:

    ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
    env.setRestartStrategy(RestartStrategies.noRestart());

    4.后备重启策略
    使用群集定义的重新启动策略。这对于启用检查点的流式传输程序很有帮助。默认情况下,如果没有定义其他重启策略,则选择固定延迟重启策略。
    本文来源于:奈学开发者社区,如有侵权,请联系我删除~

  • 相关阅读:
    【剑指Offer面试编程题】题目1504:把数组排成最小的数--九度OJ
    【剑指Offer面试编程题】题目1373:整数中1出现的次数--九度OJ
    【剑指Offer面试编程题】题目1372:最大子向量和--九度OJ
    【剑指Offer面试编程题】题目1371:最小的K个数--九度OJ
    vue路由传参
    Es5.Es6区别
    面向对象和面向过程
    vuex
    Vue脚手架使用
    vue中fetch请求
  • 原文地址:https://www.cnblogs.com/Jss-forever/p/13477950.html
Copyright © 2011-2022 走看看