zoukankan      html  css  js  c++  java
  • Storm概念学习系列之Worker、Task、Executor三者之间的关系

      不多说,直接上干货!

    Worker、Task、Executor三者之间的关系

      Storm集群中的一个物理节点启动一个或者多个Worker进程,集群的Topology都是通过这些Worker进程运行的。

      然而,Worker进程中又会运行一个或者多个Executor线程,每个Executor线程只运行一个Topology的一个组件(Spout或Bolt)的Task任务,Task又是数据处理的实体单元

      Worker是进程,Executor对应于线程,Spout或Bolt是一个个的Task

      同一个Worker只执行同一个Topology相关的Task;

      在同一个Executor中可以执行多个同类型的Task,即在同一个Executor中,要么全部是Bolt类的Task,要么全部是Spout类的Task;

      在运行时,Spout和Bolt需要包装成一个又一个Task。

      Worker、Task、Executor之间的关系如图1所示。

                   

                            图1     Worker、Task、Executor三者之间的关系

              

      storm程序主要由spout和bolt组成的。spout和bolt在运行期间会生成task实例(new Spout或者new bolt)。

      那这些task实例是需要在线程(executor)里面运行的,而线程是需要在进程(worker)里面执行的

      进一步,见

    Storm概念学习系列之并行度与如何提高storm的并行度

  • 相关阅读:
    PHP基础1
    U2-Net网络学习笔记(记录)
    C++贪吃蛇游戏
    实习期间学习基础学习整理
    week 2020.1.10-2020.1.15
    week 2021.1.04-2021.1.08
    week 2020.12.21-2020.12.31
    周记 week 2020-12.14-12.18
    几种读取图片和标签的方法
    图像风格转换(Style Transfer | 风格迁移综述)
  • 原文地址:https://www.cnblogs.com/zlslch/p/5989734.html
Copyright © 2011-2022 走看看