zoukankan      html  css  js  c++  java
  • centos7:storm集群环境搭建

    1.安装storm

    下载storm安装包

    在线下载

    wget http://apache.fayea.com/storm/apache-storm-1.1.1/apache-storm-1.1.1.tar.gz

    或者下载到本地,再上传服务器

    解压到安装目录

    tar -zxvf 安装包名

    配置环境变量

    vi /etc/profile

    #storm环境变量

    export STORM_HOME=/opt/deploy/apache-storm-1.1.1

    export PATH=$PATH:$STORM_HOME/bin

    2.编写配置文件

    注意第一列需要有一个空格)

    storm.yaml文件(注意:storm.yaml配置,凡是有冒号的地方,冒号后都要有个空格

    vi storm.yaml

    #zookeeper服务器ip

           storm.zookeeper.servers:

                   - "ip"

                   - "ip"

                   - "ip"

           # nimbus

            nimbus.seeds: ["ip"]

           #zookeeper端口

           storm.zookeeper.port: 2181

           #storm少量数据存放地址

           storm.local.dir: "/opt/deploy/apache-storm-1.1.1/data"

           #storm访问的UI界面端口

           ui.port: 8080

           supervisor.slots.ports:

                  - 6700

                  - 6701

                  - 6702

                  - 6703

    注意事项:

           1.servers和seeds写对应机器ip,名字有时候启动后会出现hostname不识别报错

           2.storm中写入的zk端口要和zk的启动端口一致(及时确认端口信息)

           3.storm.yaml配置文件集群上每台机器都一样,如果后期修改,确认三台机器修改后仍保持一致。

    创建data文件夹 mkdir apache-storm-1.1.1/data

    赋给文件夹读写的权限

    sudo chmod -R 777 data

    注释:

    -R 是指级联应用到目录里的所有子目录和文件

    777 是所有用户都拥有最高权限

    将文件传入其他节点:

    scp -r /opt/deploy/apache-storm-1.1.1 user@ip:/opt/deploy/

    scp -r /opt/deploy/apache-storm-1.1.1 user@ip:/opt/deploy/

    开启防火墙(每一台机器都需要开通)

    需开放的端口:

    8080、2181、6700、6701、6702、6703、6627(分配给主节点的端口)

    firewall-cmd --add-port=9086/tcp --permanent

    firewall-cmd --reload

          

    3.启动

    测试安装是否成功

    3.1 master节点:Storm1

    启动nimbus和ui服务及logviwer日志服务。

    nohup /opt/deploy/apache-storm-1.1.1/bin/storm nimbus >/dev/null 2>&1 &

    nohup /opt/deploy/apache-storm-1.1.1/bin/storm ui >/dev/null 2>&1 &

    nohup /opt/deploy/apache-storm-1.1.1/bin/storm logviewer >/dev/null 2>&1 &

    3.2 slave节点:Storm2、Storm3

    启动supervisor服务。

    nohup /opt/deploy/storm/apache-storm-1.1.1/bin/storm supervisor >/dev/null 2>&1 &

    nohup /opt/deploy/apache-storm-1.1.1/bin/storm logviewer >/dev/null 2>&1 &

    3.3 jps查看进程

    master节点

           jps

           出现以下显示

           3828 Jps

           3485 nimbus

           3437 core

           63204 logviewer(如果不启动logviewer则没有此进程)

           slave节点

           jps

           出现以下显示

           1896 Jps

           1726 supervisor

           85894 LogWriter(如果不启动 logviewer 则没有此进程)

    4、查看storm ui页面

    访问storm1:8080查看storm ui页面:(ip:端口号)

  • 相关阅读:
    Beta 冲刺 (3/7)
    软件产品案例分析(团队)
    Beta 冲刺 (2/7)
    Beta 冲刺1
    第七次作业
    第六次作业(计算器第四步)
    课堂作业二 PAT1025 反转链表
    第五次作业(计算器第三步)
    课堂作业一(16/05/04)
    Calculator(补)
  • 原文地址:https://www.cnblogs.com/koudaiyoutang/p/10622328.html
Copyright © 2011-2022 走看看