zoukankan      html  css  js  c++  java
  • Flink 历史服务与连接器

    History Server(历史服务)

    • Flink提供了记录历史任务运行情况的服务,可用于在关闭Flink群集后依然能够查询已完成作业的相关信息。

    • 配置:

      # 任务执行信息存储在hdfs目录
      jobmanager.archive.fs.dir: hdfs:///completed-jobs
      
      # history serever服务读取历史任务信息的目录
      historyserver.archive.fs.dir: hdfs:///completed-jobs
      
      # history serever服务每隔多久到历史任务目录中轮询查看
      historyserver.archive.fs.refresh-interval: 10000
      
    • 配置完后, 选择一台机器, 启动 history server服务:

      bin/historyserver.sh start
      
    • 访问历史服务器 8082端口

    Connector(连接器)

    • 介绍

      • link Flink内置了一些基本数据源(source)和接收器(sink)。

      • 除此之外它还提供了其他的连接器用于与各种第三方系统进行连接。

      • 目前支持如下系统的连接:

        • Apache kafka (source/sink)
        • ElasticSearch (sink)
        • Hadoop FileSystem (sink)
        • RabbitMQ (source/sink)
        • Apache NiFi (source/sink)
        • Apache Cassandra (sink)
        • Apache Kinesis Streams (source/sink)
        • Twitter Streaming API (source)
      • 在这些连接器中,当启动了Flink的容错机制之后,它分别能够保证不同的语义(at least once 和 exactly once)。

      • 当连接器是 source 的时候

        image-20191113220218397

      • 当连接器是 sink 的时候

        image-20191113220229308

  • 相关阅读:
    大小写英文字母表
    JSP作业
    第六次作业
    第五次作业
    第二次作业
    JSP第一次作业
    作业9
    作业八
    作业7
    第二次作业
  • 原文地址:https://www.cnblogs.com/ronnieyuan/p/11853629.html
Copyright © 2011-2022 走看看