zoukankan      html  css  js  c++  java
  • 02_Storm集群部署

    1. 部署前的硬件及软件检查

    硬件要求

    1)storm集群部署包括zookeeper部署,而zookeeper集群最小为3台机器
    2)storm的计算过程都在内存中完成,因此内存要尽量大
    3)storm少部分数据在本地(topology提交会有本地目录,storm.local.dir/nimbus/inbox目录下),使用系统盘即可,不需要额外添加磁盘

    软件要求
    storm通过java编写,因此依赖于Java,同时还在少数情况下需要使用python(一般linux自带)
    要提前保证java和python软件在待部署机器或虚拟机上的安装

    集群部署注意事项
    1)storm版本选择
    * 不能太老(功能,性能)
    * 该版本的参考资料必须足够多
    * 最好不使用最新的版本(稳定性验证不够)

    2. Storm集群部署

    zookeeper的部署,请参考本博客的zookeeper系列,这里不在赘述

    Storm集群部署 

    1)上传安装包到待部署节点,解压并得到安装目录

    以我的为例,安装包上传到3个待部署节点的/usr/local/src/目录,解压后得到storm安装目录,同时修改安装目录名为storm-0.9.3

    [/usr/local/src]chmod 755 apache-storm-0.9.3.tar.gz
    [/usr/local/src]tar -xzvf apache-storm-0.9.3.tar.gz
    [/usr/local/src]mv apache-storm-0.9.3 storm-0.9.3

    2) 修改storm配置文件storm.yaml

    任选1个节点,进入storm安装目录下的conf目录,找到配置文件storm.yaml

    [/usr/local/src]cd storm-0.9.3/conf
    [/usr/local/src]vim storm.yaml 

    将配置文件中的一些注释符号#删除,配置如下信息

    *storm.zookeeper.servers, zookeeper服务器地址,通过hostname配置

    *nimbus.host,  nimbus部署在哪一台机器上,通过hostname配置

    *storm.local.dir,  storm存储临时文件及nimbus上存放上传的任务jar包的目录,storm启动会自动创建该目录

    *supervisor.slots.ports,  supervisor节点能够运行的worker进程数,每个进程占用1个port

     

    将该节点的配置文件保存,通过SCP分发到其他节点

    [conf]scp –rp storm.yaml root@slave1:/usr/local/src/storm-0.9.3/conf/
    [conf]scp –rp storm.yaml root@slave2:/usr/local/src/storm-0.9.3/conf/

    3) Storm环境变量配置

    复制storm安装目录路径,在/etc/profile尾部增加如下内容(所有集群节点都要配置环境变量

    # STORM HOME and PATH modify
    export STORM_HOME=/usr/local/src/storm-0.9.3
    export PATH=$PATH:$STORM_HOME/bin

    在所有集群节点上,使配置文件生效

    # source /etc/profile

    4) 启动nimbus及storm ui(网页形式的UI页面)

    在storm-0.9.3/bin/目录下创建start.sh启动脚本(和supervisor的启动脚本不同),并填入如下内容

     

     storm logviewer >dev/null 2>&1 &    //ui页面上显示可滚动的log日志

    给脚本增加执行权限,   并执行

    # chomd 755 start.sh
    # ./start.sh

    5) 启动supervisor节点

    在storm-0.9.3/bin/目录下创建start.sh启动脚本(和supervisor的启动脚本不同),并填入如下内容

     

     storm logviewer >dev/null 2>&1 &    //ui页面上显示可滚动的log日志

    给脚本增加执行权限,   并执行

    # chomd 755 start.sh
    # ./start.sh

    6)  查看各个节点上的storm进程

     Nimbus节点

    core为storm ui进程

     

    Supervisor节点

     

    7)  查看storm UI监控页面,部署完成

    http://主节点ip:8080/

  • 相关阅读:
    关于Maya Viewport 2.0 API 开发的介绍视频
    春节大假
    Some tips about the life cycle of Maya thread pool
    Can I compile and run Dx11Shader for Maya 2015 on my side?
    How to get current deformed vertex positions in MoBu?
    想加入全球首届的 欧特克云加速计划吗?
    三本毕业(非科班),四次阿里巴巴面试,终拿 offer(大厂面经)
    mac、window版编辑器 webstorm 2016... 永久破解方法。
    node 搭载本地代理,处理web本地开发跨域问题
    js 一维数组,转成嵌套数组
  • 原文地址:https://www.cnblogs.com/shay-zhangjin/p/7786346.html
Copyright © 2011-2022 走看看