zoukankan      html  css  js  c++  java
  • 04Flink 部署

    https://flink.apache.org/downloads.html

    左侧 Downloads   Binaries,1.14.2,.tgz包,300M+大小

    yarn模式需要hadoop支持,在Additional Components下面下载

    解压 tar -zxvf flink-1.14.2-bin-scala_2.12.tgz

    最主要的三个目录:

    bin :shell脚本文件

         start-cluster.sh :执行后产生一个StandaloneSessionClusterEntrypoint和一个TaskManagerRunner

         stop-cluster.sh   

         jobmanager.sh   

         taskmanager.sh 

         特别的:flink文件(没有.sh)

    conf:yml配置文件

       flink-conf.yaml

           jobmanager.rpc.address: localhost    配置jobmanager

           jobmanager.rpc.port: 6123

           ......

           rest.port: 8081

           rest.address: localhost

       masters:配置jobmanager

       slaves:配置taskmanager,每行一个

    lib:可用的库包,比如hadoop包

    ps:多次执行start-cluster.sh会发生什么?(执行jps看)

    会多启动一个TaskManagerRunnner

    按照Resource Providers维度,部署模式可以分为Standalone,Kubernetes,Yarn三种

    Standalone 模式

    执行 ./start-cluster.sh 默认会启动一个standalonesession daemon和一个taskexecutor daemon

    执行 jps 查看可以看到一个TaskManagerRunner和一个StandaloneSessionClusterEntrypoint

    访问 localhost:8081,可以看到web页面

    并行度优先级:代码中setParallelism(n)>提交job时候的设置的parallelism>flink-conf.yaml中parallelism.default设置的值

    注意slot和task任务数的配置,可能存在任务提交失败的情况(slot资源不够)

    命令行方式:   

    ./flink run -c   <mainClass> -p 3  <jarPath> --host localhost --port 7777

    ./flink cancel <jobId>

    ./flink list -a

    Yarn

    Flink需要hadoop支持

    Sesson Cluster

    Per Job Cluster

    Native Kubernetes

    每种模式下的任务运行模式又可以分为三种:Application,Per-Job,Session

  • 相关阅读:
    hdu 1260 Tickets
    hdu 4738 Caocao's Bridges(桥的最小权值+去重)
    找规律
    C语言快速排序
    数组的初始化方法
    C语言选择排序
    副本机制
    安装完Kali的后续操作
    Bool盲注
    Python中的列表
  • 原文地址:https://www.cnblogs.com/yb38156/p/15731959.html
Copyright © 2011-2022 走看看