zoukankan      html  css  js  c++  java
  • storm安装部署

    Storm是一个实时处理框架,安装也比Hadoop还有OOZIE简单,如下:

    之前在Storm初探中介绍Storm节点时间的控制管理是通过Zookeeper来管理的,所以需要先安装Zookeeper集群

    1、下载Zookeeper,zookeeper-3.4.6.tar.gz并解压,并将conf/zoo_sample.cfg重命名为zoo.cfg并修改如下:

    tickTime=2000
    dataDir=/var/zookeeper/
    clientPort=2181
    initLimit=5
    syncLimit=2
    server.1=hadoop-kf100.jd.com:2888:3888
    server.2=hadoop-kf101.jd.com:2888:3888
    server.3=hadoop-kf102.jd.com:2888:3888

    因为我安装了3个节点hadoop-kf100.jd.com、hadoop-kf101.jd.com、hadoop-kf102.jd.com所以每个节点上都需要进行配置

    并且需要在每个节点的dataDir目录下创建myid文件,内容为zoo.cfg配置文件中设置的对应的数字编号

    2、设置完后便可启动zookeeper集群,在每个节点进入bin目录下执行:sh zkServer.sh start

    设置完后可敲入sh zkServer.sh status命令查看zookeeper集群状态

    Storm安装:

    1、下载Storm压缩文件apache-storm-0.9.3.tar.gz并解压,设置环境变量,如下:(每个节点都进行设置)

    export STORM_HOME=/export/servers/apache-storm-0.9.3

    export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$STORM_HOME/bin:$PATH

    设置完环境变量别忘了source一下使环境变量生效

    2、修改conf/storm.yaml配置文件,修改内容如下:(每个节点都进行设置)

    ########### These MUST be filled in for a storm configuration
    storm.zookeeper.servers:
    - "192.168.157.100"
    - "192.168.157.101"
    - "192.168.157.102"

    storm.local.dir: "/home/storm/workdir"

    storm.zookeeper.session.timeout: 100000

    storm.zookeeper.connection.timeout: 60000
    nimbus.host: "192.168.157.100"

    supervisor.slots.ports:
    - 6700
    - 6701
    - 6702
    - 6703
    - 6704
    - 6705
    - 6706
    - 6707

    以上,已经全部配置完毕,上面已启动zookeeper集群,现在只需启动Storm集群即可:

    进入bin目录下执行:

    在nimbus节点执行bin/storm nimbus、bin/storm ui命令

    在supervisor节点执行bin/storm supervisor命令

    在每个节点执行bin/storm logviewer 启动日志功能,否则通过UI点端口查看日志时查看不了

    以上,便完成了Storm的安装,是不是很简单

  • 相关阅读:
    2014025640《嵌入式程序设计》第二周学习总结
    基于Struts2的SpringMVC入门
    2014025640《嵌入式设计》第一周学习总结
    Hadoop综合大作业
    hive基本操作与应用
    用mapreduce 处理气象数据集
    熟悉常用的HBase操作,编写MapReduce作业
    爬虫大作业
    熟悉常用的HDFS操作
    中文词频统计
  • 原文地址:https://www.cnblogs.com/zhli/p/4819788.html
Copyright © 2011-2022 走看看