zoukankan      html  css  js  c++  java
  • 高效搭建Storm全然分布式集群

    环境说明
    1、硬件说明
    使用三台PC机,角色分配例如以下


    2、软件说明


    约定全部软件都放在/usr/local/路径下
    准备工作
    1、安装jdk
    2、配置SSH

    Storm集群安装
    安装流程图



    1、安装Zookeeper集群

    2、安装Storm依赖
    zeromq、jzmq、python

    2.1、安装zeromq
    tar -zxvf zeromq-2.1.7.tar.gz
    cd zeromq-2.1.7
    是源代码,需先编译
    ./configure 检查编译环境

    安装依赖
    rpm -ivh libstdc++-devel-4.4.7-3.el6.i686.rpm
    rpm -ivh gcc-c++-4.4.7-3.el6.i686.rpm 
    rpm -ivh libuuid-devel-2.17.2-12.9.el6.i686.rpm

    ./configure 检查编译环境
    make 编译
    make install 安装

    2.2、安装jzmq
    unzip jzmq-master.zip 

    安装依赖
    rpm -ivh autoconf-2.63-5.1.el6.noarch.rpm
    rpm -ivh automake-1.11.1-4.el6.noarch.rpm
    rpm -ivh libtool-2.2.6-15.5.el6.i686.rpm

    在/usr/local/jzmq-master路径下
    ./autogen.sh 

    ./configure
    make
    make install

    2.3、检查python
    which python
    python -V 

    3、安装storm
    3.1、unzip storm-0.8.2.zip
    3.2.1、配置storm环境变量
    # set storm  environment
    export STORM_HOME=/usr/local/storm-0.8.2
    export PATH=$PATH:$STORM_HOME/bin

    3.2.2、改动Storm的配置文件
    vi storm.yaml
    配置Zookeeper
    配置storm



    4、启动Storm集群
    4.1、各节点启动Zookeeper zkServer.sh start
    4.2、master启动Storm storm nimbus > ./nimbus.log 2>&1 &
    4.3、子节点启动 bin/storm supervisor > ./supervisor.log 2>&1 &
    4.4、master启动图形化管理界面进程(进程名core) storm ui > ./core.log 2>&1 & 

    5、启动验证
    5.1 Java守护进程

    5.1.1、 master
    backtype.storm.daemon.nimbus
    backtype.storm.ui.core
    5.1.2、 slave
    backtype.storm.daemon.supervisor
    5.2 web端
    http://hadoop100:8080/


    Storm集群全然分布式安装Successfully,欢迎留言交流


  • 相关阅读:
    PythonStudy——格式化输入小练习
    PythonStudy——运算符优先级 Operator precedence
    PythonStudy——逻辑运算符 Logical Operators
    ExtJS动态创建组件
    常见报表的JS代码
    sqlserver学习
    读写分离与锁分离
    oracle链接原理
    读java并发编程笔记
    日志机制在编程中的作用
  • 原文地址:https://www.cnblogs.com/zfyouxi/p/5077943.html
Copyright © 2011-2022 走看看