zoukankan      html  css  js  c++  java
  • Storm 安装及搭建集群环境

    搭建storm的集群环境

    官方下载地址址:http://storm.apache.org/
    注意:本博主使用版本 Storm 1.1.3 Released

     a)     在hadoop-001主机解压apache-storm-1.1.3


    tar -zxvf apache-storm-1.1.3.tar.gz


    b)     配置环境变量

     vi  ~/.bash_profile


    export STORM_HOME=/home/hadoop/bigdatasoftware/apache-storm-1.1.3
    PATH=$PATH:$STORM_HOME/bin


    c)      编写conf/storm-env.sh文件


     export JAVA_HOME=/home/hadoop/bigdatasoftware/jdk1.8.0_161

     export STORM_CONF_DIR=/home/hadoop/bigdatasoftware/apache-storm-1.1.3/conf


    d)     分别在不同的主机hadoop-001、hadoop-002、hadoop-003,新建目录


    mkdir -p /home/hadoop/stormdata


    e)     编辑conf/storm.yaml文件


     storm.zookeeper.servers:

    - "hadoop-001"
    - "hadoop-002"
    - "hadoop-003"
    storm.local.dir: "/home/hadoop/stormdata"
    nimbus.host: "hadoop-001"
    supervisor.slots.ports:
    - 6700
    - 6701
    - 6703
    - 6704


     f) 将storm分发到不同的主机


    scp -r /home/hadoop/bigdatasoftware/apache-storm-1.1.3 hadoop@hadoop-002:/home/hadoop/ bigdatasoftware /

                  scp -r /home/hadoop/ bigdatasoftware /apache-storm-1.1.3 hadoop@hadoop-003:/home/hadoop/ bigdatasoftware /

    scp -r ~/.bash_profile  hadoop@hadoop-002:~/.bash_profile

    scp -r ~/.bash_profile  hadoop@hadoop-003:~/.bash_profile

    分发完成脚本文件,必须 source一下

    source ~/.bash_profile


     g)     启动集群的storm环境(注意必须要在bin目录下启动)


    nohup sh storm nimbus &(hadoop-master主机启动)

    nohup sh storm ui & (hadoop-master主机启动)

    nohup sh storm supervisor &(hadoop-001主机启动、hadoop-003主机启动、hadoop-002主机启动)

    nohup sh storm logviewer &(hadoop-001主机启动、hadoop-003主机启动、hadoop-002主机启动)


    h)     查看进程(输入jps)

     

    i)       打开浏览器:输入http://hadoop-001:8080/index.html(注意配置C:WindowsSystem32driversetc hosts)

     

     

  • 相关阅读:
    背景图片自适应大小(平铺)
    墨卡托投影示意图
    C# 两个类的实例之间相同属性的值的复制
    C# 并行编程 Task
    C# 并行编程 PLINQ
    C# 并行编程 Parallel
    仰望星空
    Ubuntu的人道精神
    神经网络简介
    并行计算简介
  • 原文地址:https://www.cnblogs.com/Transkai/p/10884093.html
Copyright © 2011-2022 走看看