zoukankan      html  css  js  c++  java
  • Apache Flink Local模式部署——批处理和流处理

    Apache Flink部署模式有如下三种模式:
    Flink Local 模式
    Flink Standalone 模式
    Flink ON YARN 模式

    本文主要介绍Apache Flink的本地部署模式。

    本地部署模式主要用于开发者程序调试测试使用。

    1、启动Flink

    $ cd D:devflink-1.9.2in
    $ start-cluster.bat ## 双击启动Flink

    通过web前端检查服务是否正常运行
    http://localhost:8081
    Web前端可以看到有一个可用的TaskManager实例。

    通过jps检查服务启动情况

    还可以通过检查logs目录中的日志文件来验证系统是否正在运行:

    $ tail log/flink-*-standalonesession-*.log

    2、Flink local模式-Java批处理命令

    $ cd D:devflink-1.9.2in
    $ flink run -c com.dajiangtai.batch.WordCount D:jarlearning-flink-1.0.jar
    $ flink run -c com.dajiangtai.batch.WordCount D:jarlearning-flink-1.0.jar --input D:jarin.txt --output D:jarout.txt

    注意:--output指定的文件已存在,执行时报错;正确做法是命令行指定输出文件,不用创建out.txt文件。

    3、Flink local模式-Java流处理命令

    $ cd D:devflink-1.9.2in
    $ flink run -c com.dajiangtai.stream.WordCount D:jarlearning-flink-1.0.jar 
    $ flink run -c com.dajiangtai.stream.WordCount D:jarlearning-flink-1.0.jar --input D:jarin.txt --output D:jarout2.txt

    问题一:

    Exception in thread "main" java.lang.RuntimeException: The configuration directory was not specified. Please specify the directory containing the configuration file through the 'FLINK_CONF_DIR' environment variable.
    
    原因:不将当前目录定位到 Flink 的话,运行 job 会报 The configuration directory was not specified. 错误。
  • 相关阅读:
    Java 堆和栈 垃圾回收 2015/9/16
    多态 Java 2015/9/16
    学校项目过程中知识点 Java 2015/9/15 晚
    Python print输出不换行
    Windows 加载EXT分区
    RouterOS 安全模式
    RouterOS Openswan l2tp ipsec
    RouterOS 自动邮件备份脚本
    python chnroutes ROS版
    Kinect 2.0&Speech 11 中文语音控制
  • 原文地址:https://www.cnblogs.com/linjiqin/p/12438890.html
Copyright © 2011-2022 走看看