zoukankan      html  css  js  c++  java
  • strom的使用02

    1.grouping分组策略

      stream grouping就是用来定义一个stream应该如果分配给Bolts上面的多个Tasks。
      storm里面有6种类型的stream grouping:
        1.1.Shuffle Grouping: 随机分组, 随机派发stream里面的tuple, 保证每个bolt接收到的tuple数目相同。轮询,平均分配。
          1.2 Fields Grouping:按字段分组, 比如按userid来分组, 具有同样userid的tuple会被分到相同的Bolts, 而不同的userid则会被分配到不同的Bolts。
        1.3 All Grouping: 广播发送, 对于每一个tuple, 所有的Bolts都会收到。
        1.4 Global Grouping: 全局分组, 这个tuple被分配到storm中的一个bolt的其中一个task。再具体一点就是分配给id值最低的那个task。
        1.5 Non Grouping: 不分组, 这个分组的意思是说stream不关心到底谁会收到它的tuple。目前这种分组和Shuffle grouping是一样的效果,不平均分配。
        1.6 Direct Grouping: 直接分组, 这是一种比较特别的分组方法,用这种分组意味着消息的发送者举鼎由消息接收者的哪个task处理这个消息。 只有被声明为Direct Stream的消息流可以声明这种分组方法。而且这种消息tuple必须使用emitDirect方法来发射。消息处理者可以通过TopologyContext来或者处理它的消息的taskid (OutputCollector.emit方法也会返回taskid)

    2.worker、executor和task之间的关系

      

      备注:一个topology可以包含一个或多个worker(并行地跑在不同的machine上),并且worker只能对应一个topology。

         一个worker可以包含一个和多个executor,每个component(spout或bolt)至少对应于一个executor,同时一个executor只能对应于一个component.

         task是具体的处理逻辑对象,一个executor线程可以执行一个或多个同类型的tasks

         task代表最大并发度,一个component的task数是不会改变的,但是一个component的executor数目是会发生变化的,task数>=executor数,executor数代表实际并发送。

    3.各个节点间的作用

      3.1 nimbus主节点:

        3.1.1 接收客户端提交的任务请求,任务由Nimbus进行分配,将分配信息提交到Zookeeper集群(在Zookeeper相应的znode节点上写入任务分配信息,由supervisor查看这些znode上的任务分配      信息,获取分配到的任务)
        3.1.2 监控整个集群的状态(从Zookeeper集群中相应znode上读取supervisor、worker进程的状态信息数据)
        3.1.3 容错:当任务在某些Supervisor节点上运行的时候由于Supervisor进程失效,重新将这些任务分配给其他supervisor运行
      3.2 Supervisor:
        3.2.1 需要定时将自己的运行状态信息(心跳信息)汇报给zookeeper(在Zookeeper相应的znode节点上写入心跳信息)

        3.2.2 接收Nimbus分配给它的任务,负责启动、停止工作进程worker,其本身并不是执行任务的工作进程,worker的容错由Supervisor进程负责
      3.3 worker进程:并不是常驻进程,不能通过手动启动
        真正执行任务的进程 ,worker进程启动后,也会定时将状态信息汇报给zookeeper

      3.4 executor 线程:

         由worker进程来启动,executor负责执行客户提交到Storm集群上任务中Task(spout/bolt)

    4.并发设置

      4.1 设置worker工作进程并发

        config.setNumWorkers(3);

      4.2 设置executor工作线程并发

        builder.setBolt(SPLITE_SBOLT, new SplitWordBolt(),2)

      4.3 设置task任务级别的并发

        builder.setBolt(SPLITE_SBOLT, new SplitWordBolt(),2).setNumTasks(4)

        

  • 相关阅读:
    关于量子计算机的一些整理 (精心整理原创) (1)
    自然语言交流系统 phxnet团队 创新实训 个人博客 (一)
    自然语言交流系统 phxnet团队 创新实训 项目博客 (一)
    double类型保留2位小数
    main函数位置
    java中main函数解析
    关于函数声明的小知识点
    数据帧、数据包、数据报以及数据段
    chrome 常用快捷键(可以摆脱鼠标哦)
    chrome 如何利用快捷键将光标移动到地址栏
  • 原文地址:https://www.cnblogs.com/lifeone/p/5878158.html
Copyright © 2011-2022 走看看