一:简介
1.官网
http://storm.apache.org/
2.strom的两种形式
2.strom的特性
3.使用场景
4.集群架构
各个节点快速失败,无状态。
快速失败的意思是,节点挂掉后,马上重启后,就可以正常工作,不需要很长的时间初始化,状态恢复等过程。
无状态:节点本身不存储自己的状态信息,将状态信息由第三方存储。、
可以实现高可靠性。
5.集群架构进程
6.组件 Nimbus
7.从节点Supervisor
8.组件worker
9.组件Executor
10.组件zookeeper
11.组件UI
12.组件Logviewer
13.组件Netty
二:安装
1.下载上传
2.解压
3.修改配置文件strom_env.sh
环境配置文件。
4.修改strom.yaml
应用程序配置文件。
python程序的配置文件,注意固定的格式。
storm.local.dir:指定jar提交后保存的本地文件上的地址,先创建workspace。
slots.ports是指定supervisor启动的工作进程worker的默认端口号,是supervisor从节点的端口号,如果启动的worker数量超过配置的几个端口,将会随机取端口。
三:启动
1.启动zookeeper进程
2.启动主节点
首先是config_value,加载配置文件的过程。
3.启动从节点
4.启动ui
要在主机点上。
5.检测8020端口
6.登录网页
7.启动logviewer
在每个logviewer从节点上都启动。
查看进程:daemon.loggerviewer。
8.特别注意的点:
在每个启动前加上nohup,表示代理的意思。
例如:nohup bin/storm logviewer> /dev/null 2>&1 &
四:测试
1.运行命令
bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount
2.网页
3.进入wordcount
五:集群停止
1.停止
没有命令,只能使用kill
先停主节点,再停从节点。
但是,要先停任务。否则,下次启动集群的时候,会将任务都启动起来。