zoukankan      html  css  js  c++  java
  • Storm分布式集群搭建

    一、storm版本

           选用storm0.9.6

           

    二、本地模式

           用于对storm业务逻辑的调试和测试,可以直接在本地运行。

    三、分布式模式

           生产环境,需要对应的zookeeper、nimbus、supervisor和storm UI

    四、主节点Nimbus。

           nimbus作为storm的核心,肩负着对topology的调度和分配,接受storm客户端的命令以及storm UI的请求等任务。

           master节点上部署nimbus

             下载地址:http://storm.apache.org/2015/11/05/storm096-released.html

             

         

         master 节点上  上传 解压

        

        配置nimbus

         

          找到zookeeper存在的目录   创建storm

     

     注意:

     下面的配置可以更加方面 不用去目录下运行了

    使其生效

     

     启动nimbus

     

    五、工作节点Supervisor

          Supervisor监听Nimbus的任务分配,启动worker来对相应的任务进行处理。通时Supervisor会对本地的worker进程进行监控,如果发现状态不正常会重启worker。如果任务多次失败,则将该任务交还给Nimbus进行再次重新分配。

          

       将master节点的包发送至其他节点:scp apache-storm-0.9.6.tar.gz slave1:/home/hadoop/app

                                                                 scp apache-storm-0.9.6.tar.gz slave2:/home/hadoop/app

            

        

        解压:[hadoop@slave1 app]$ tar -zxvf apache-storm-0.9.6.tar.gz 

                  [hadoop@slave2 app]$ tar -zxvf apache-storm-0.9.6.tar.gz 

        将master节点的配置文件拷贝到slave1  slave2

        

       后台启动

       

     

     查看进程

    六、storm UI

          web服务器,在指定端口提供网页服务。可以获取系统配置、作业和各个组件的运行状态;可以暂停和撤销作业。

          在nimbus节点(master)上部署storm UI

        在nimbus节点启动strom UI

        

         查看进程

         

        

         页面访问

         192.168.80.11:8080

          

    报错

    记得启动zookeeper

    七、storm配置项

           https://github.com/apache/storm/blob/master/conf/defaults.yaml

  • 相关阅读:
    如何禁用事件的浮升(div的子元素的点击事件会触发父元素的点击事件)
    如何用Ajax加载服务器的图片
    MyBaits一对一的查询方法
    WEB编程中获取src目录下的文件(没有src目录)
    Vs code背景图
    JS正则表达式
    宏任务和微任务:setTimeout和Promise执行顺序
    MySql操作(一)
    Js 运行机制和Event Loop
    浅拷贝与深拷贝
  • 原文地址:https://www.cnblogs.com/lyywj170403/p/8933999.html
Copyright © 2011-2022 走看看