zoukankan      html  css  js  c++  java
  • 04Flink 部署

    https://flink.apache.org/downloads.html

    左侧 Downloads   Binaries,1.14.2,.tgz包,300M+大小

    yarn模式需要hadoop支持,在Additional Components下面下载

    解压 tar -zxvf flink-1.14.2-bin-scala_2.12.tgz

    最主要的三个目录:

    bin :shell脚本文件

         start-cluster.sh :执行后产生一个StandaloneSessionClusterEntrypoint和一个TaskManagerRunner

         stop-cluster.sh   

         jobmanager.sh   

         taskmanager.sh 

         特别的:flink文件(没有.sh)

    conf:yml配置文件

       flink-conf.yaml

           jobmanager.rpc.address: localhost    配置jobmanager

           jobmanager.rpc.port: 6123

           ......

           rest.port: 8081

           rest.address: localhost

       masters:配置jobmanager

       slaves:配置taskmanager,每行一个

    lib:可用的库包,比如hadoop包

    ps:多次执行start-cluster.sh会发生什么?(执行jps看)

    会多启动一个TaskManagerRunnner

    按照Resource Providers维度,部署模式可以分为Standalone,Kubernetes,Yarn三种

    Standalone 模式

    执行 ./start-cluster.sh 默认会启动一个standalonesession daemon和一个taskexecutor daemon

    执行 jps 查看可以看到一个TaskManagerRunner和一个StandaloneSessionClusterEntrypoint

    访问 localhost:8081,可以看到web页面

    并行度优先级:代码中setParallelism(n)>提交job时候的设置的parallelism>flink-conf.yaml中parallelism.default设置的值

    注意slot和task任务数的配置,可能存在任务提交失败的情况(slot资源不够)

    命令行方式:   

    ./flink run -c   <mainClass> -p 3  <jarPath> --host localhost --port 7777

    ./flink cancel <jobId>

    ./flink list -a

    Yarn

    Flink需要hadoop支持

    Sesson Cluster

    Per Job Cluster

    Native Kubernetes

    每种模式下的任务运行模式又可以分为三种:Application,Per-Job,Session

  • 相关阅读:
    1Z0-053 争议题目解析
    Vertica 高可用性测试
    Vertica 导出数据测试用例
    Oracle安装部署,版本升级,应用补丁快速参考
    记录一则数据库连接故障ORA-12560,ORA-12518
    记录一则RMAN备份策略修正案例
    oracle 存储过程 变量的声明和赋值的3种方式
    tomcat 如何查看tomcat版本及位数
    64位Ubuntu 14.04 安装wps
    图表中怎样实现动态变更分类轴与系列值
  • 原文地址:https://www.cnblogs.com/yb38156/p/15731959.html
Copyright © 2011-2022 走看看