zoukankan      html  css  js  c++  java
  • Flink学习笔记——flink on yarn

    Flink集群部署的方式有以下几种,在本文中主要介绍Flink on yarn:

    Yarn
    Mesos
    Docker/Kubernetes
    Standalone
    

    参考:

    https://www.slideshare.net/tillrohrmann/redesigning-apache-flinks-distributed-architecture-flink-forward-2017
    

    Flink on yarn有2种运行方式:

    第一种是Session mode

    定义参考:《Stream Processing with Apache Flink: Fundamentals, Implementation, and Operation of Streaming Applications》

    https://books.google.com.sg/books?id=7OiRDwAAQBAJ&pg=PT265&lpg=PT265&dq=flink+job+mode+session+mode&source=bl&ots=0fMg-gnzyf&sig=ACfU3U1-W4Az3WWJiUBwTpm0tGbsi2UpGw&hl=zh-CN&sa=X&ved=2ahUKEwiMwJjS-uDpAhVTIqYKHbgABkwQ6AEwBnoECAoQAQ#v=onepage&q=flink%20job%20mode%20session%20mode&f=false
    

     

    即启动一个yarn session,然后submit flink job到这个yarn session上

    有2个步骤:

    1.启动一个yarn session

    2.提交任务到flink集群上

    参考:

    https://ci.apache.org/projects/flink/flink-docs-release-1.10/ops/deployment/yarn_setup.html
    

    第二种是Job mode

    即提交一个独立的flink任务到yarn上面,一旦这个job结束了,Flink集群上的资源就会释放

  • 相关阅读:
    排序算法之归并
    RequestAndResponse
    Jsp相关
    会话技术
    MVC设计思想
    FileRecv VNCViewer 使用方法
    Go语言string包详解
    Go语言字符串
    Go语言fmt包详解
    编写第一个Go程序
  • 原文地址:https://www.cnblogs.com/tonglin0325/p/13022635.html
Copyright © 2011-2022 走看看