zoukankan      html  css  js  c++  java
  • flink入门(二)——部署与运行架构

    一、单机版安装与测试

      参考:http://www.oushaobin.cn/archives/apache-flink-guide-1.html

      1)进入IP:8081管理界面(虚拟机需要防火墙关闭),进入submit new job页面

        

       2)将scala写好的word-count程序打包成包含jar的,在add new中进行添加

        

       3)点击文件前的框,进行参数配置

        

       4) submit提交后会有执行结果展示

       5)造测试数据:

        通过虚拟机的nc命令(可以离线安装nc):

        

       6)查看结果

        

       7)在job界面右上角可以canle停止任务

      8)使用命令行如何提交?

        通过flink命令:bin/flink run  -c com.xx.xx xxx.jar --host locahost --port 7777

        停止任务通过flink cancel 任务ID即可取消任务

    二、运行架构分析

      1.运行时组件

        

         最核心的组件是作业管理器和任务管理器

        1)作业管理器

          每个作业管理器是一个应用程序的主进程,也就是一个应用程序一个JobManager,是一个主控,主协调的组件

          

          2)任务管理器

            实际干活的人

            

             剩余的资源管理器主要是管理控制插槽(slots),分发器则是为应用提交提供了一个REST接口

        2.一个任务的具体提交流程

        

          在使用yarn进行资源管理的情况下,任务流程稍有不同

         3.TaskManager和Slots

          

           可以共享Slots来优化资源:

          

         4.程序数据流图

          核心就是Source,Trans,Sink

          

          

           运行时的核心是运行图:

          

  • 相关阅读:
    第五章 Python——字符编码与文件处理
    第六章 Python——函数与面向过程编程
    第七章 Python——模块与包
    第一章 计算机硬件基础与操作系统介绍
    luogu P1706 全排列问题
    luogu 2142 高精度减法
    luogu P1601 高精度加法
    luogu P1803 线段覆盖 贪心
    luogu P1031 均分纸牌 贪心
    luogu P2678 跳石头 二分答案
  • 原文地址:https://www.cnblogs.com/jiangbei/p/13840682.html
Copyright © 2011-2022 走看看