zoukankan      html  css  js  c++  java
  • Flink 从 0 到 1 学习之(9)Flink 项目如何运行?

    前言

    之前写了不少 Flink 文章了,也有不少 demo,但是文章写的时候都是在本地直接运行 Main 类的 main 方法,其实 Flink 是支持在 UI 上上传 Flink Job 的 jar 包,然后运行得。

    准备

    编译打包

    我们在整个项目 (flink-learning)pom.xml 所在文件夹执行以下命令打包:

    1
    mvn clean install

    然后你会发现在 flink-learning-connectors-es6 的 target 目录下有 flink-learning-connectors-es6-1.0-SNAPSHOT.jar 。

    启动 ES

    注意你的 Kafka 数据源和 ES 都已经启动好了, 清空了下 ES 目录下的 data 数据,为了就是查看是不是真的有数据存入进来了。

    提交 jar 包

    将此文件提交到 Flinkserver 上,如下图:

    点击下图红框中的”Upload”按钮:

    如下图,选中刚刚上传的文件,填写类名,再点击”Submit”按钮即可启动 Job:

    查看运行结果

    如下图,在 Overview 页面可见正在运行的任务:

    你可以看到 Task Manager 中关于任务的 metric 数据
    、日志信息以及 Stdout 信息。

    查看 Kibana ,此时 ES 中已经有数据了:

    我们可以在 flink ui 界面上的 overview cancel 这个 job,那么可以看到 job 的日志:

    总结

    本篇文章写了下如何将我们的 job 编译打包并提交到 Flink 自带到 Server UI 上面去运行,也算是对前面文章的一个补充,当然了,Flink job 不仅支持这种模式的运行,它还可以运行在 K8s,Mesos,等上面,等以后我接触到再写写。

     
    作者:大码王

    -------------------------------------------

    个性签名:独学而无友,则孤陋而寡闻。做一个灵魂有趣的人!

    如果觉得这篇文章对你有小小的帮助的话,记得在右下角点个“推荐”哦,博主在此感谢!

    万水千山总是情,打赏一分行不行,所以如果你心情还比较高兴,也是可以扫码打赏博主,哈哈哈(っ•?ω•?)っ???!

  • 相关阅读:
    hutool 糊涂
    java 连接 Redis 工具
    生成6位验证码
    @FeignClient定义冲突解决
    Seate分布式事务解决方案
    算法——最小生成树的关键边和伪关键边
    《Kubernetes权威指南》读书笔记
    Docker——容器卷管理
    算法——课程表 II(有向图拓扑排序)
    Docker——网络
  • 原文地址:https://www.cnblogs.com/huanghanyu/p/13628019.html
Copyright © 2011-2022 走看看