zoukankan      html  css  js  c++  java
  • Apache Flink Local模式部署——批处理和流处理

    Apache Flink部署模式有如下三种模式:
    Flink Local 模式
    Flink Standalone 模式
    Flink ON YARN 模式

    本文主要介绍Apache Flink的本地部署模式。

    本地部署模式主要用于开发者程序调试测试使用。

    1、启动Flink

    $ cd D:devflink-1.9.2in
    $ start-cluster.bat ## 双击启动Flink

    通过web前端检查服务是否正常运行
    http://localhost:8081
    Web前端可以看到有一个可用的TaskManager实例。

    通过jps检查服务启动情况

    还可以通过检查logs目录中的日志文件来验证系统是否正在运行:

    $ tail log/flink-*-standalonesession-*.log

    2、Flink local模式-Java批处理命令

    $ cd D:devflink-1.9.2in
    $ flink run -c com.dajiangtai.batch.WordCount D:jarlearning-flink-1.0.jar
    $ flink run -c com.dajiangtai.batch.WordCount D:jarlearning-flink-1.0.jar --input D:jarin.txt --output D:jarout.txt

    注意:--output指定的文件已存在,执行时报错;正确做法是命令行指定输出文件,不用创建out.txt文件。

    3、Flink local模式-Java流处理命令

    $ cd D:devflink-1.9.2in
    $ flink run -c com.dajiangtai.stream.WordCount D:jarlearning-flink-1.0.jar 
    $ flink run -c com.dajiangtai.stream.WordCount D:jarlearning-flink-1.0.jar --input D:jarin.txt --output D:jarout2.txt

    问题一:

    Exception in thread "main" java.lang.RuntimeException: The configuration directory was not specified. Please specify the directory containing the configuration file through the 'FLINK_CONF_DIR' environment variable.
    
    原因:不将当前目录定位到 Flink 的话,运行 job 会报 The configuration directory was not specified. 错误。
  • 相关阅读:
    JavaScript设计模式与开发实践
    ECMAScript 6入门
    时间管理微课程:值得永久收藏的25条时间管理技巧
    day14.生成器迭代器作业
    windows下创建MySQL定时备份与删除脚本
    day14.生成器进阶,推导式
    day13.装饰器进阶,迭代器
    day12.生成器;wraps初识
    day11.装饰器初识
    day10.函数升级
  • 原文地址:https://www.cnblogs.com/linjiqin/p/12438890.html
Copyright © 2011-2022 走看看