zoukankan      html  css  js  c++  java
  • Apache Flink Local模式部署——批处理和流处理

    Apache Flink部署模式有如下三种模式:
    Flink Local 模式
    Flink Standalone 模式
    Flink ON YARN 模式

    本文主要介绍Apache Flink的本地部署模式。

    本地部署模式主要用于开发者程序调试测试使用。

    1、启动Flink

    $ cd D:devflink-1.9.2in
    $ start-cluster.bat ## 双击启动Flink

    通过web前端检查服务是否正常运行
    http://localhost:8081
    Web前端可以看到有一个可用的TaskManager实例。

    通过jps检查服务启动情况

    还可以通过检查logs目录中的日志文件来验证系统是否正在运行:

    $ tail log/flink-*-standalonesession-*.log

    2、Flink local模式-Java批处理命令

    $ cd D:devflink-1.9.2in
    $ flink run -c com.dajiangtai.batch.WordCount D:jarlearning-flink-1.0.jar
    $ flink run -c com.dajiangtai.batch.WordCount D:jarlearning-flink-1.0.jar --input D:jarin.txt --output D:jarout.txt

    注意:--output指定的文件已存在,执行时报错;正确做法是命令行指定输出文件,不用创建out.txt文件。

    3、Flink local模式-Java流处理命令

    $ cd D:devflink-1.9.2in
    $ flink run -c com.dajiangtai.stream.WordCount D:jarlearning-flink-1.0.jar 
    $ flink run -c com.dajiangtai.stream.WordCount D:jarlearning-flink-1.0.jar --input D:jarin.txt --output D:jarout2.txt

    问题一:

    Exception in thread "main" java.lang.RuntimeException: The configuration directory was not specified. Please specify the directory containing the configuration file through the 'FLINK_CONF_DIR' environment variable.
    
    原因:不将当前目录定位到 Flink 的话,运行 job 会报 The configuration directory was not specified. 错误。
  • 相关阅读:
    BZOJ2512 : Groc
    BZOJ3644 : 陶陶的旅行计划
    BZOJ1439 : YY的问题
    BZOJ2872 : 优莱卡
    BZOJ3273 : liars
    BZOJ4133 : Answer的排队
    URAL Palindromic Contest
    ZOJ Monthly, January 2018
    BZOJ2689 : 堡垒
    2017-2018 ACM-ICPC, Central Europe Regional Contest (CERC 17)
  • 原文地址:https://www.cnblogs.com/linjiqin/p/12438890.html
Copyright © 2011-2022 走看看