zoukankan      html  css  js  c++  java
  • CentOS 6.7安装Storm 0.9.7

    之前已经在CentOS 6.7上安装部署Hadoop 2.7.2http://blog.csdn.net/noob_f/article/details/53366756),并正常启动Hadoop集群。

    Storm的依赖包:

    之前已经安装过了。


    master

    [root@master ~]# wget http://mirrors.tuna.tsinghua.edu.cn/apache/storm/apache-storm-0.9.7/apache-storm-0.9.7.tar.gz
    [root@master ~]# tar -zxvf apache-storm-0.9.7.tar.gz
    [root@master ~]# mv apache-storm-0.9.7 /usr/local/
    

    Storm环境变量

    [root@master ~]# vi /etc/profile.d/storm.sh

    添加

    export STROM_HOME=/usr/local/apache-storm-0.9.7
    export PATH=$PATH:STORM_HOME/bin
    

    保存退出

    [root@master ~]# source /etc/profile.d/storm.sh

    storm.yaml配置文件

    [root@master ~]# vi /usr/local/apache-storm-0.9.7/conf/storm.yaml

    修改

    # storm.zookeeper.servers:
    #     - "server1"
    #     - "server2"
    #
    # nimbus.host: "nimbus"
    

    storm.zookeeper.servers:
        - "master"
        - "slave"
    nimbus.host: "master"
    

    保存退出

    • nimbus.host: Storm集群Nimbus机器地址
    • storm.zookeeper.servers: Storm集群使用的ZooKeeper集群地址

    [root@master ~]# rsync -av /usr/local/apache-storm-0.9.7 slave:/usr/local/
    [root@master ~]# rsync -av /etc/profile.d/storm.sh slave:/etc/profile.d/

    slave

    [root@slave ~]# source /etc/profile.d/storm.sh

    启动Storm集群

    master

    [root@master ~]# /usr/local/zookeeper-3.4.9/bin/zkServer.sh start
    [root@master ~]# /usr/local/apache-storm-0.9.7/bin/storm nimbus >/dev/null 2>&1 &
    [root@master ~]# /usr/local/apache-storm-0.9.7/bin/storm ui >/dev/null 2>&1 &
    

    slave

    [root@slave ~]# /usr/local/zookeeper-3.4.9/bin/zkServer.sh start
    [root@slave ~]# /usr/local/apache-storm-0.9.7/bin/storm supervisor>/dev/null 2>&1 &
    

    浏览器访问master:8080,如果安装并启动成功,会看到监控界面,通过此页面可观察集群的 Worker 资源使用情况、Topology的运行状态等信息。

    Storm UI

    向Strom集群提交任务

    master

    启动Topology

    [root@master ~]# cd /usr/local/apache-storm-0.9.7/
    [root@master apache-storm-0.9.7]# bin/storm jar ./examples/storm-starter/storm-starter-topologies-0.9.7.jar storm.starter.ExclamationTopology exclamation-topology
    [root@master apache-storm-0.9.7]# echo $?
    0
    
    • 注:jar 命令是专门负责提交任务使用的,storm-starter-topologies-0.9.7.jar是包含Topology 实现代码的 JAR 包, storm.starter.ExclamationTopologymain 方法是 Topology 的入口。

    Storm UI

    停止Topology

    [root@master apache-storm-0.9.7]# bin/storm kill exclamation-topology
    [root@master apache-storm-0.9.7]# echo $?
    0
    
    • 注:exclamation-topology 为 Topology 提交到 Storm 集群时指定的 Topology 任务名称。

    Storm UI

  • 相关阅读:
    银行卡号每隔4位插入空格
    IE6-8下自定义标签的表现
    Sql Server尝试读取或写入受保护的内存。这通常指示其他内存已损坏
    儿童编程教学scratch 3.0
    Shell 教程入门
    自定义vs2005代码段
    解决Adobe ReaderXI自动关闭问题
    WPF——给button添加背景图片
    WPF 异步加载数据
    Caliburn.Micro中的WindowManager
  • 原文地址:https://www.cnblogs.com/Genesis2018/p/8304703.html
Copyright © 2011-2022 走看看