zoukankan      html  css  js  c++  java
  • 安装storm集群

    手工安装Storm集群

    注:最新的Storm已不再必须依赖ZeroMQ,各种依赖的库和软件也已经有更新的版本。

    要手工安装Storm,需要先安装以下软件

    • Zookeeper集群(安装方法详见管理向导
    • Java6.0
    • Python2.6.6
    • Unzip命令

    NOTE: Nimbus和管理进程将要依赖Java、Python和unzip命令

    安装本地库:

    安装ZeroMQ:

    1 wget http://download.zeromq.org/historic/zeromq-2.1.7.tar.gz
    2 tar -xzf zeromq-2.1.7.tar.gz
    3 cd zeromq-2.1.7
    4 ./configure
    5 make
    6 sudo make install 
    安装JZMQ:
    1 git clone https://github.com/nathanmarz/jzmq.git
    2 cd jzmq
    3 ./autogen.sh
    4 ./configure
    5 make
    6 sudo make install

    本地库安装完了,下载最新的Storm稳定版(写作本书时是Storm0.7.1。译者注:翻译本章时已是v0.9.1,可从http://storm.incubator.apache.org/https://github.com/apache/incubator-storm/releases下载),并解压缩。
    编辑配置文件,增加Storm集群配置(可以从Storm仓库的defaults.yaml看到所有的默认配置)。
    编辑Storm目录下的conf/storm.yaml,添加以下参数,增加集群配置:

    storm.zookeeper.servers:
    – "zookeeper addres 1"
    – "zookeeper addres 2"
    – "zookeeper addres N"
    storm.local.dir: "a local directory"
    nimbus.host: "Nimbus host addres"
    supervisor.slots.ports:
    – supervisor slot port 1
    – supervisor slot port 2
    – supervisor slot port N

    参数解释:
    storm.zookeeper.servers

    你的zookeeper服务器地址。

    storm.local.dir

    Storm进程保存内部数据的本地目录。(务必保证运行Storm进程的用户拥有这个目录的写权限。)

    nimbus.host

    Nimbus运行的机器的地址

    supervisor.slots.ports

    接收消息的工人进程监听的端口号(通常从6700开始);管理进程为这个属性指定的每个端口号运行一个工人进程。

    当你完成了这些配置,就可以运行所有的Storm进程了。如果你想运行一个本地进程测试一下,就把nimbus.host配置成localhost。启动一个Storm进程,在Storm目录下执行:./bin/storm 进程名

    NOTE:Storm提供了一个出色的叫做Storm UI的工具,用来辅助监控拓扑。
  • 相关阅读:
    Android的数据存储
    Servlet第一天
    JavaScript高级程序设计读书笔记(3)
    Interesting Papers on Face Recognition
    Researchers Study Ear Biometrics
    IIS 发生意外错误 0x8ffe2740
    Father of fractal geometry, Benoit Mandelbrot has passed away
    Computer vision scientist David Mumford wins National Medal of Science
    Pattern Recognition Review Papers
    盒模型bug的解决方法
  • 原文地址:https://www.cnblogs.com/jinniezheng/p/6375706.html
Copyright © 2011-2022 走看看