zoukankan      html  css  js  c++  java
  • storm基本架构

    一、基本架构

    nimbus: storm的核心,负责分配任务和监控工作状态

    supervisor: 监听nimbus分配的任务,负责启动/关闭worker

    worker: 一个worker是一个独立的进程,负责执行一个topology

    executor: worker的执行线程,一个worker中可以有多个executor。

    task: storm中最小的处理单元,是一个具体的spout或者bolt

    zookeeper: nimbus和supervisor之间的通信通过zookerper完成

    二、storm组件

    三、开发流程

    1.编写spout获取数据,将数据(tuple)发送到下游的bolt

    2.编写bolt,根据上游的spout或者bolt输出的字段获取到数据,进行处理,然后发送到下游的bolt

    3.最后一个bolt处理完后,进行持久化

    4.配置storm,构建topology

    5.打包上传到服务器,提交到集群运行


    参考资料:

    《storm技术内幕与大数据实战》

  • 相关阅读:
    Parcel与Parcelable剖析
    Binder文集
    Charles 使用教程
    AsyncTask
    Android 编译时注解
    scanf(),gets(),getchar()
    银行家算法
    最长公共子序列(LCS)问题
    动态规划 求解数字三角形最大值
    参数 存在二维数组
  • 原文地址:https://www.cnblogs.com/cnsec/p/13286648.html
Copyright © 2011-2022 走看看