zoukankan      html  css  js  c++  java
  • Storm概念学习系列之Task任务

      不多说,直接上干货!

      每一个Spout/Bolt的线程称为一个Task。

    Task任务

      Task是运行Spout或Bolt的单元,每一个Spout/Bolt的线程称为一个Task。
      在Storm 0.8及之后的版本中,Task不再与物理线程对应,同一个Spout/Bolt的Task可能会共享一个物理线程,该线程称为Executor。
      实际的数据处理由Task完成,在Topology的生命周期中,每个组件的Task数量不会变化,而Executor的数量却不一定。在一般情况下,线程数小于等于Task数量。默认Task的数量等于Executor线程数量,即一个Executor线程只运行一个Task。Executor线程在执行期间会调用该Task的nextTuple或execute方法。
      每个Spout或Bolt都是通过集群中的许多任务来执行的。每个任务相当于一个执行线程,可以通过TopologyBuilder的setSpout方法和setBolt方法为每个Spout或Bolt设置并行数,即任务数

          

  • 相关阅读:
    scala中的注解
    scala中的表达式
    scala中枚举
    spark sql建表的异常
    hive和sequoiadb对接的问题
    java IO的总结
    Spark的序列化
    pentaho和spark-sql对接
    英语口语练习系列-C28-海滨-辨别身份-悬崖边的树
    2018-12-4-今日总结
  • 原文地址:https://www.cnblogs.com/zlslch/p/5989729.html
Copyright © 2011-2022 走看看