zoukankan      html  css  js  c++  java
  • storm--chuanzhiboke

    Storm里面有7种类型的stream grouping
    1.   Shuffle Grouping: 随机分组, 随机派发stream里面的tuple,保证每个bolt接收到的tuple数目大致相同。
    2.    Fields Grouping:按字段分组,比如按userid来分组,具有同样userid的tuple会被分到相同的Bolts里的一个task,而不同的userid则会被分配到不同的bolts里的task。
    3.    All Grouping:广播发送,对于每一个tuple,所有的bolts都会收到。
    4.    Global Grouping:全局分组, 这个tuple被分配到storm中的一个bolt的其中一个task。再具体一点就是分配给id值最低的那个task。
    5.    Non Grouping:不分组,这stream grouping个分组的意思是说stream不关心到底谁会收到它的tuple。目前这种分组和Shuffle grouping是一样的效果, 有一点不同的是storm会把这个bolt放到这个bolt的订阅者同一个线程里面去执行。
    6.    Direct Grouping: 直接分组, 这是一种比较特别的分组方法,用这种分组意味着消息的发送者指定由消息接收者的哪个task处理这个消息。只有被声明为Direct Stream的消息流可以声明这种分组方法。而且这种消息tuple必须使用emitDirect方法来发射。消息处理者可以通过TopologyContext来获取处理它的消息的task的id (OutputCollector.emit方法也会返回task的id)。
    7.    Local or shuffle grouping:如果目标bolt有一个或者多个task在同一个工作进程中,tuple将会被随机发生给这些tasks。否则,和普通的Shuffle Grouping行为一致。

     

     

    #################storm 集群安装######################

    集群部署的流程:下载安装包、解压安装包、修改配置文件、分发安装包、启动集群

    注意:

        所有的集群上都需要配置hosts

        vi  /etc/hosts

           192.168.244.7 storm01 zk01 hadoop01

          192.168.244.8 storm02 zk02 hadoop02

           192.168.244.9 storm03 zk03 hadoop03

    1、           集群部署的基础环境准备

    安装前的准备工作(zk集群已经部署完毕)

    l  关闭防火墙

    chkconfig iptables off  && setenforce 0

    l  创建用户

    groupadd realtime && useradd realtime && usermod -a -G realtime realtime

    l  创建工作目录并赋权

    mkdir /export

    mkdir /export/servers

    chmod 755 -R /export

    l  切换到realtime用户下

    su realtime

    3、Storm集群部署

    3.1、下载安装包

             wget    http://124.202.164.6/files/1139000006794ECA/apache.fayea.com/storm/apache-storm-0.9.5/apache-storm-0.9.5.tar.gz

    3.2、解压安装包

    tar -zxvf apache-storm-0.9.5.tar.gz -C /export/servers/

    cd /export/servers/

    ln -s apache-storm-0.9.5 storm

    3.3、修改配置文件

             mv /export/servers/storm/conf/storm.yaml /export/servers/storm/conf/storm.yaml.bak

    vi /export/servers/storm/conf/storm.yaml

    输入以下内容:

    3.4、分发安装包

    scp -r /export/servers/apache-storm-0.9.5 storm02:/export/servers

    然后分别在各机器上创建软连接

    cd /export/servers/

    ln -s apache-storm-0.9.5 storm

    3.5、启动集群

    l  在nimbus.host所属的机器上启动 nimbus服务

    cd /export/servers/storm/bin/

    nohup ./storm nimbus &

    l  在nimbus.host所属的机器上启动ui服务

    cd /export/servers/storm/bin/

    nohup ./storm ui &

    l  在其它个点击上启动supervisor服务

    cd /export/servers/storm/bin/

    nohup ./storm supervisor &

    3.6、查看集群

    访问nimbus.host:/8080,即可看到storm的ui界面。

    4、Storm常用操作命令

    有许多简单且有用的命令可以用来管理拓扑,它们可以提交、杀死、禁用、再平衡拓扑。

    l  提交任务命令格式:storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】

    bin/storm jar examples/storm-starter/storm-starter-topologies-0.9.6.jar storm.starter.WordCountTopology wordcount

    l  杀死任务命令格式:storm kill 【拓扑名称】 -w 10(执行kill命令时可以通过-w [等待秒数]指定拓扑停用以后的等待时间)

    storm kill topology-name -w 10

    l  停用任务命令格式:storm deactivte  【拓扑名称】

    storm deactivte topology-name

    我们能够挂起或停用运行中的拓扑。当停用拓扑时,所有已分发的元组都会得到处理,但是spouts的nextTuple方法不会被调用。销毁一个拓扑,可以使用kill命令。它会以一种安全的方式销毁一个拓扑,首先停用拓扑,在等待拓扑消息的时间段内允许拓扑完成当前的数据流。

    l  启用任务命令格式:storm activate【拓扑名称】

            storm activate topology-name

    l  重新部署任务命令格式:storm rebalance  【拓扑名称】

            storm rebalance topology-name

            再平衡使你重分配集群任务。这是个很强大的命令。比如,你向一个运行中的集群增加了节点。再平衡命令将会停用拓扑,然后在相应超时时间之后重分配工人,并重启拓扑。

  • 相关阅读:
    NOIP 模拟 $26; m 降雷皇$
    NOIP 模拟 $26; m 神炎皇$
    NOIP 模拟 $25; m queen$
    NOIP 模拟 $25; m string$
    创建自己的数字货币
    Etherscan
    ETH挖矿
    Claymore's Dua Miner挖矿教程
    微擎微赞密码重置
    SQL引擎及事务支持
  • 原文地址:https://www.cnblogs.com/shanhua-fu/p/8535361.html
Copyright © 2011-2022 走看看