zoukankan      html  css  js  c++  java
  • Strom简介,以及安装,和官方案例测试

    一:简介

    1.官网

      http://storm.apache.org/

    2.strom的两种形式

      

    2.strom的特性

      

    3.使用场景

      

    4.集群架构

      各个节点快速失败,无状态。

      快速失败的意思是,节点挂掉后,马上重启后,就可以正常工作,不需要很长的时间初始化,状态恢复等过程。

      无状态:节点本身不存储自己的状态信息,将状态信息由第三方存储。、

      可以实现高可靠性。

      

    5.集群架构进程

      

    6.组件 Nimbus

      

    7.从节点Supervisor

      

    8.组件worker

      

    9.组件Executor

      

    10.组件zookeeper

      

    11.组件UI

      

    12.组件Logviewer

      

    13.组件Netty

      

    二:安装

    1.下载上传

      

    2.解压

    3.修改配置文件strom_env.sh

      环境配置文件。

      

    4.修改strom.yaml

      应用程序配置文件。

      python程序的配置文件,注意固定的格式。

      storm.local.dir:指定jar提交后保存的本地文件上的地址,先创建workspace。

      slots.ports是指定supervisor启动的工作进程worker的默认端口号,是supervisor从节点的端口号,如果启动的worker数量超过配置的几个端口,将会随机取端口。

      

       

    三:启动

    1.启动zookeeper进程

      

    2.启动主节点

      首先是config_value,加载配置文件的过程。

      

    3.启动从节点

      

    4.启动ui

      要在主机点上。

      

    5.检测8020端口

      

    6.登录网页

      

     7.启动logviewer

      在每个logviewer从节点上都启动。

      查看进程:daemon.loggerviewer。

      

    8.特别注意的点:

      在每个启动前加上nohup,表示代理的意思。

      例如:nohup bin/storm logviewer> /dev/null 2>&1 &

    四:测试

    1.运行命令

      bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount

    2.网页

      

     3.进入wordcount

      

    五:集群停止

    1.停止

      没有命令,只能使用kill

      先停主节点,再停从节点。

      但是,要先停任务。否则,下次启动集群的时候,会将任务都启动起来。

  • 相关阅读:
    paip.禁用IKAnalyzer 的默认词库.仅仅使用自定义词库.
    paip.语义分析分词常见的单音节字词 2_deDuli 单字词 774个
    IFL嵌入式小组技术博客入口导航
    devc++5.0.0.9的调试方法
    getch()、getche()和getchar()之间的区别
    devc++5.0.0.9的调试方法
    声明和定义的区别
    IFL嵌入式小组技术博客入口导航
    C/C++程序到内存分配个人总结
    getch()、getche()和getchar()之间的区别
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6187055.html
Copyright © 2011-2022 走看看