zoukankan      html  css  js  c++  java
  • Flink 集群安装部署

    环境准备

    • CentOS:7.0
    • JDK:1.8
    • Flink 集群:node-01(Master)、node-02(Slave)、node-03(Slave)

    安装与配置

    • SFTP 上传 Flink 安装包并解压
    [root@node-01 ~]# tar -zxvf flink-1.9.0-bin-scala_2.11.tgz -C apps/
    [root@node-01 ~]# rm -rf flink-1.9.0-bin-scala_2.11.tgz
    
    • 配置运行环境变量
    [root@node-01 ~]# cd /etc
    [root@node-01 etc]# vim profile
    #行尾添加
    export FLINK_HOME=/root/apps/flink-1.9.0
    export PATH=$PATH:$FLINK_HOME/bin
    [root@node-01 etc]# source /etc/profile
    
    • 修改 conf/flink-conf.yaml 配置文件
    [root@node-01 ~]# cd /root/apps/flink-1.9.0/conf
    [root@node-01 conf]# vim flink-conf.yaml
    #jobmanager地址
    jobmanager.rpc.address: node-01
    #TaskManager任务并发数
    taskmanager.numberOfTaskSlots: 2 
    #任务运行的并行度
    parallelism.default: 1
    
    • 修改 conf/workers 配置文件

      [root@node-01 ~]# cd /root/apps/flink-1.9.0/conf
      [root@node-01 conf]# vim slaves
      node-02
      node-03
      
    • 拷贝 flink 安装包到 node-02、node-03

      [root@node-01 ~]# cd /etc
      [root@node-01 etc]# scp profile node-02:$PWD
      [root@node-01 etc]# scp profile node-03:$PWD
      [root@node-02 ~]# source /etc/profile
      [root@node-03 ~]# source /etc/profile
      
      [root@node-01 ~]# cd /root/apps/
      [root@node-01 apps]# scp -r flink-1.9.0/ node-02:$PWD
      [root@node-01 apps]# scp -r flink-1.9.0/ node-03:$PWD
      
    • 启动 Flink 集群服务(standalone模式)

      [root@node-01 ~]# start-cluster.sh 
      Starting cluster.
      Starting standalonesession daemon on host node-01.
      Starting taskexecutor daemon on host node-02.
      [root@node-01 ~]# jps
      1763 StandaloneSessionClusterEntrypoint
      1833 Jps
      [root@node-02 ~]# jps
      1656 Jps
      1598 TaskManagerRunner
      [root@node-03 ~]# jps
      1589 TaskManagerRunner
      1642 Jps
      

      关闭 flink 集群 # stop-cluster.sh

    • 查看 Flink Web UI 界面

      http://node-01:8081

    作者:Binge
    本文版权归作者和博客园共有,转载必须给出原文链接,并保留此段声明,否则保留追究法律责任的权利。
  • 相关阅读:
    UIProgressView的详细使用
    Android拍照上传代码样例
    UILabel的详细使用及特殊效果
    TextView属性android:ellipsize实现跑马灯效果
    Android中WebView实现Javascript调用Java类方法
    有效获取状态栏(StatusBar)高度
    详解iPhone Tableview分批显示数据
    TextView显示插入的图片
    ObjectiveC语法快速参考
    UISegmentedControl的详细使用
  • 原文地址:https://www.cnblogs.com/binbingg/p/14833476.html
Copyright © 2011-2022 走看看