zoukankan      html  css  js  c++  java
  • Apache Flink Local模式部署——批处理和流处理

    Apache Flink部署模式有如下三种模式:
    Flink Local 模式
    Flink Standalone 模式
    Flink ON YARN 模式

    本文主要介绍Apache Flink的本地部署模式。

    本地部署模式主要用于开发者程序调试测试使用。

    1、启动Flink

    $ cd D:devflink-1.9.2in
    $ start-cluster.bat ## 双击启动Flink

    通过web前端检查服务是否正常运行
    http://localhost:8081
    Web前端可以看到有一个可用的TaskManager实例。

    通过jps检查服务启动情况

    还可以通过检查logs目录中的日志文件来验证系统是否正在运行:

    $ tail log/flink-*-standalonesession-*.log

    2、Flink local模式-Java批处理命令

    $ cd D:devflink-1.9.2in
    $ flink run -c com.dajiangtai.batch.WordCount D:jarlearning-flink-1.0.jar
    $ flink run -c com.dajiangtai.batch.WordCount D:jarlearning-flink-1.0.jar --input D:jarin.txt --output D:jarout.txt

    注意:--output指定的文件已存在,执行时报错;正确做法是命令行指定输出文件,不用创建out.txt文件。

    3、Flink local模式-Java流处理命令

    $ cd D:devflink-1.9.2in
    $ flink run -c com.dajiangtai.stream.WordCount D:jarlearning-flink-1.0.jar 
    $ flink run -c com.dajiangtai.stream.WordCount D:jarlearning-flink-1.0.jar --input D:jarin.txt --output D:jarout2.txt

    问题一:

    Exception in thread "main" java.lang.RuntimeException: The configuration directory was not specified. Please specify the directory containing the configuration file through the 'FLINK_CONF_DIR' environment variable.
    
    原因:不将当前目录定位到 Flink 的话,运行 job 会报 The configuration directory was not specified. 错误。
  • 相关阅读:
    关于缓存雪崩穿透击穿等一些问题
    MethodHandler笔记
    并发总结(博客转载)
    负载均衡的几种算法Java实现代码
    SpringJdbc插入对象返回主键的值
    【Java基础】01-推荐参考材料
    【Java基础】注解
    【JSON】
    【Kafka】3-配置文件说明
    【Kafka】1-理论知识
  • 原文地址:https://www.cnblogs.com/linjiqin/p/12438890.html
Copyright © 2011-2022 走看看