zoukankan      html  css  js  c++  java
  • Storm系列(十一)架构分析之Supervisor-管理Worker进程的事件线程

    处理流程:

    image

    方法原型:

    (defn sync-processes [supervisor])

    函数说明:

    Supervisor是一个supervisor-data对象.

    1. 从local-state中获取LS_LOCAL_ASSIGNMENTS集合<port,Assignment>集合,保存到assigned-executors。
    2. 调用read-allocated-workers获取当前已经分配的Worker信息,<worker-id,<worker state,worker heartbeat>>集合,保存到allocated,其中记录了与当前分配的Worker相对应的状态和心态信息。
    3. 从allocated中过滤,保留其中worker-state为:valid的Worker,保存到keepers。
    4. 从keepers数据项中的心跳信息中获取其所对应的端口信息,保存到keep-ports.
    5. 根据assigned-executor和keep-ports,确定需重新分配的executor信息,返回<port,Assignment>集合,保存到reassign-executors.
    6. 为reassign-executors中的每个端口创建一个新的worker-id,返回<port,worker-id> 集合,保存到new-worker-ids.
    7. 对allocated集合中worker-state不为:valid的Worker调用shutdown-worker方法 关闭。
    8. 为new-worker-ids集合中的每个worker-id创建pid文件夹,路径为STORM_LOCAL_DIR/workers/<worker-id>/pids/
    9. 更新local-state中存储的LS_APPROVED-WORKERS信息。 获取当前local-state中存储的LS-APPROVED-WORKERS信息,再根据 将keepers过滤出有效的Worker信息最后与new-worker-ids合并进行保存到local-state。
    10. 调用launch-worker方法启动 Worker,返回启动的Worker的worker-id,最后调用wait-for-workers-launch方法等待这些Worker启动起来.

    Supervisor启动流程

    image

  • 相关阅读:
    使用Pandas groupby连接来自多行的字符串
    Pandas数据分析介绍
    SQL Server 32位数据源与64位数据源区别
    SQL Server install
    windows 远程提示CredSSP
    linux 终端下以图形界面打开当前文件夹
    Linux g++ include link
    undefined reference to symbol 'pthread_create@@GLIBC_2.2.5'
    Linux下的库操作工具-nm、ar、ldd、ldconfig和ld.so
    git update
  • 原文地址:https://www.cnblogs.com/jianyuan/p/4855378.html
Copyright © 2011-2022 走看看