zoukankan      html  css  js  c++  java
  • Storm集群搭建

      (1)前期准备三台服务器,IP地址分别是172.31.19.222,172.31.19.223,172.31.19.224

      (2)zookeeper集群搭建:可以参考之前的博文 http://www.cnblogs.com/gdpuzxs/p/7126241.html

      (3)安装storm依赖库,执行 python -V ,如果显示如下,则系统已经安装,否则需要安装python。

        

      (4)下载并解压storm压缩包

    tar -xzvf  apache-storm-0.9.5.tar.gz -C /usr/local

      (5)配置环境变量

    vim /etc/profile
    
    export STORM_HOME=/usr/local/storm
    
    PATH=$PATH:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$STORM_HOME/bin

      (6)修改storm.yaml配置文件

    vim /usr/local/storm/conf/storm.yaml
    
     storm.zookeeper.servers:
         - "172.31.19.222"
         - "172.31.19.223"
         - "172.31.19.224"
     nimbus.host: "172.31.19.222"
     storm.local.dir: "/usr/local/storm/data"
     ui.port: 18080
     supervisor.slots.ports:
        - 6700
        - 6701
        - 6702
        - 6703
     其中,(1)storm.zookeeper.servers:storm集群使用的zookeeper集群地址。
        (2)nimbus.host:storm 集群nimbus的IP地址。
        (3)storm.local.dir:Nimbus和Supervisor进程存储少量状态位置,需要提前建立data文件夹,如下:
    mkdir -p /usr/local/storm/data

        (4)ui.port:设置storm ui 启动端口号

        (5)supervisor.slots.ports:对于每个Supervisor工作节点,需要配置该工作节点可以运行的worker数量。

          每个worker占用一个单独的端口用于接收消息,该配置选项即用于定义哪些端口是可被worker使用的。

          默认情况下,每个节点上可运行4个workers,分别在6700、6701、6702和6703端口。

      (7)启动storm

        (1)先启动三个节点的zookeeper集群

        (2)Nimbus: 在Storm主控节点上运行 "storm nimbus &" 启动Nimbus后台程序,并放到后台执行;

               启动后,目录 /usr/local/storm 会产生一个logs日志文件下,进入目录,可以使用 tail -f nimbus.log 查看启动是否成功。

        (3)Supervisor: 在Storm各个工作节点上运行" storm supervisor &"启动Supervisor后台程序,并放到后台执行;

                启动后,目录 /usr/local/storm 会产生一个logs日志文件下,进入目录,可以使用 tail -f  supervisor.log 查看启动是否成功。

        (4)UI: 在Storm主控节点上运行 "storm ui &" 启动UI后台程序,并放到后台执行;

                启动后可以通过http://172.31.19.222:18080/index.html 观察集群的worker资源使用情况、Topologies的运行状态等信息,

           界面如下:

       

       至此,storm集群已经搭建完成!

       参考地址:http://blog.csdn.net/wulantian/article/details/46894727

  • 相关阅读:
    SwiftUI 笔记
    SwiftUI 和 Combine 编程
    JQuery 总结(6) 锋利的jQuery
    offset scroll
    JQuery 总结(5)  总结各种小应用
    JQuery 总结(3) jQuery 各种事件
    JQuery 总结(2) jQuery 效果动画
    JQuery 总结(4) DOM操作
    sublime Text
    js总结(11) 语法字典 各种小应用
  • 原文地址:https://www.cnblogs.com/gdpuzxs/p/7423221.html
Copyright © 2011-2022 走看看