zoukankan      html  css  js  c++  java
  • Flink从入门到精通(二)

    1. 本地模式

    建议环境:
    Linux: CentOS 6.x版本
    (笔者用的是macOS Catalina)
    JDK: 8以上版本(需要配置好JAVA_HOME)
    (笔者用的是JDK14)

    1-1) 从官网下载Flink安装包

    笔者使用的是flink-1.10.1-bin-scala_2.12.tgz

    解压安装包,拷贝到/usr/local目录下

    1-2) 配置bash脚本

    编辑bash配置文件:

    (Mac) vi ~/.bash_profile

    (CentOS) vi /etc/profile

    添加FLINK_HOME
    # flink
    export FLINK_HOME=/usr/local/flink-1.10.1
    export PATH=$PATH:$FLINK_HOME/bin

    保存

    (Mac) source ~/.bash_profile
    (CentOS) source /etc/profile

    1-3) 启动Flink

    start-cluster.sh

    运行结果:
    Starting cluster.
    Starting standalonesession daemon on host KGdeMacBook-Pro.local.
    Starting taskexecutor daemon on host KGdeMacBook-Pro.local.

    访问http://localhost:8081/

    1-4) 关闭Flink

    stop-cluster.sh

    运行结果:
    Stopping taskexecutor daemon (pid: 6058) on host KGdeMacBook-Pro.local.
    Stopping standalonesession daemon (pid: 5791) on host KGdeMacBook-Pro.local.

    2. Standalone集群模式

    Standalone模式是Flink的独立部署模式,它不依赖于其它平台。
    如果想搭建一套独立的Flink集群,可以考虑使用这种模式。

    规划集群信息:

    节点名 机器名
    Master   master
    Slave1 data1
    Slave2 data2

     

     

     

     

     

    注: 3台机器都安装了JDK8以上版本,配置了JAVA_HOME, 并且配置了各节点之间ssh免密登陆。

    Master运行JobManager进程
    Slave运行TaskManager进程

    笔者的3台机器虚拟机配置如下:

    节点名 操作系统 JDK版本
    master Ubuntu 18 JDK8
    data1 Ubuntu 18 JDK8
    data2 Ubuntu 18 JDK8
  • 相关阅读:
    015-面向对象
    017-错误和异常
    019-File
    020-OS
    021-模块
    022-标准库
    数据库目录
    数据库 概念详解
    MySQL 基础
    MySQL 数据库操作
  • 原文地址:https://www.cnblogs.com/davidgu/p/12895135.html
Copyright © 2011-2022 走看看