zoukankan      html  css  js  c++  java
  • eclipse下开发一个简单的strom程序

    功能描述:实时随机输出一字符串。

    在开发前记得导入storm需要的jar包。
    1、SimpleSpout类继承BaseRichSpout类,用来产生数据并且向topology里面发出消息:tuple。

    复制代码
    package com.ljq.helloword;
    
    import java.util.Map;
    import java.util.Random;
    
    import backtype.storm.spout.SpoutOutputCollector;
    import backtype.storm.task.TopologyContext;
    import backtype.storm.topology.OutputFieldsDeclarer;
    import backtype.storm.topology.base.BaseRichSpout;
    import backtype.storm.tuple.Fields;
    import backtype.storm.tuple.Values;
    
    /**
     * Spout起到和外界沟通的作用,他可以从一个数据库中按照某种规则取数据,也可以从分布式队列中取任务
     * 
     * @author Administrator
     *
     */
    @SuppressWarnings("serial")
    public class SimpleSpout extends BaseRichSpout{
        //用来发射数据的工具类
        private SpoutOutputCollector collector;
        private static String[] info = new String[]{
            "comaple	,12424,44w46,654,12424,44w46,654,",
            "lisi	,435435,6537,12424,44w46,654,",
            "lipeng	,45735,6757,12424,44w46,654,",
            "hujintao	,45735,6757,12424,44w46,654,",
            "jiangmin	,23545,6457,2455,7576,qr44453",
            "beijing	,435435,6537,12424,44w46,654,",
            "xiaoming	,46654,8579,w3675,85877,077998,",
            "xiaozhang	,9789,788,97978,656,345235,09889,",
            "ceo	,46654,8579,w3675,85877,077998,",
            "cto	,46654,8579,w3675,85877,077998,",
            "zhansan	,46654,8579,w3675,85877,077998,"};
        
        Random random=new Random();
        
        /**
         * 初始化collector
         */
        public void open(Map conf, TopologyContext context, SpoutOutputCollector collector) {
            this.collector = collector;
        }
        
        /**
         * 在SpoutTracker类中被调用,每调用一次就可以向storm集群中发射一条数据(一个tuple元组),该方法会被不停的调用
         */
        @Override
        public void nextTuple() {
            try {
                String msg = info[random.nextInt(11)];
                // 调用发射方法
                collector.emit(new Values(msg));
                // 模拟等待100ms
                Thread.sleep(100);
            } catch (InterruptedException e) {
                e.printStackTrace();
            }
        }
    
        /**
         * 定义字段id,该id在简单模式下没有用处,但在按照字段分组的模式下有很大的用处。
         * 该declarer变量有很大作用,我们还可以调用declarer.declareStream();来定义stramId,该id可以用来定义更加复杂的流拓扑结构
         */
        @Override
        public void declareOutputFields(OutputFieldsDeclarer declarer) {
            declarer.declare(new Fields("source")); //collector.emit(new Values(msg));参数要对应
        }
    
    }
    复制代码

    2、SimpleBolt类继承BaseBasicBolt类,处理一个输入tuple。

    复制代码
    package com.ljq.helloword;
    
    import backtype.storm.topology.BasicOutputCollector;
    import backtype.storm.topology.OutputFieldsDeclarer;
    import backtype.storm.topology.base.BaseBasicBolt;
    import backtype.storm.tuple.Fields;
    import backtype.storm.tuple.Tuple;
    import backtype.storm.tuple.Values;
    
    /**
     * 接收喷发节点(Spout)发送的数据进行简单的处理后,发射出去。
     * 
     * @author Administrator
     * 
     */
    @SuppressWarnings("serial")
    public class SimpleBolt extends BaseBasicBolt {
    
        public void execute(Tuple input, BasicOutputCollector collector) {
            try {
                String msg = input.getString(0);
                if (msg != null){
                    //System.out.println("msg="+msg);
                    collector.emit(new Values(msg + "msg is processed!"));
                }
                    
            } catch (Exception e) {
                e.printStackTrace(); 
            }
        }
    
        public void declareOutputFields(OutputFieldsDeclarer declarer) {
            declarer.declare(new Fields("info"));
        }
    
    }
    复制代码

    3、SimpleTopology类包含一个main函数,是Storm程序执行的入口点,包括一个数据喷发节点spout和一个数据处理节点bolt。

    复制代码
    package com.ljq.helloword;
    
    import backtype.storm.Config;
    import backtype.storm.LocalCluster;
    import backtype.storm.StormSubmitter;
    import backtype.storm.topology.TopologyBuilder;
    
    /**
     * 定义了一个简单的topology,包括一个数据喷发节点spout和一个数据处理节点bolt。
     * 
     * @author Administrator
     *
     */
    public class SimpleTopology {
        public static void main(String[] args) {
            try {
                // 实例化TopologyBuilder类。
                TopologyBuilder topologyBuilder = new TopologyBuilder();
                // 设置喷发节点并分配并发数,该并发数将会控制该对象在集群中的线程数。
                topologyBuilder.setSpout("SimpleSpout", new SimpleSpout(), 1);
                // 设置数据处理节点并分配并发数。指定该节点接收喷发节点的策略为随机方式。
                topologyBuilder.setBolt("SimpleBolt", new SimpleBolt(), 3).shuffleGrouping("SimpleSpout");
                Config config = new Config();
                config.setDebug(true);
                if (args != null && args.length > 0) {
                    config.setNumWorkers(1);
                    StormSubmitter.submitTopology(args[0], config, topologyBuilder.createTopology());
                } else {
                    // 这里是本地模式下运行的启动代码。
                    config.setMaxTaskParallelism(1);
                    LocalCluster cluster = new LocalCluster();
                    cluster.submitTopology("simple", config, topologyBuilder.createTopology());
                }
                
            } catch (Exception e) {
                e.printStackTrace(); 
            }
        }
    }
    复制代码

    运行结果效果如下:

     
  • 相关阅读:
    一年来把自己从学.Net到用.Net,收集的资料共享出来B/s中的存储过程(二)
    收集的.Net文章(十五)ASP.NET 2.0 Caching For performance
    收集的.Net文章(十六)SQL Server日期计算
    P.V操作原语和信号量
    2004年2008年系分论文题目整理,考SA的可以看一下
    2010年个人总结
    MASM,NASM和AT&T汇编格式备注
    Unity Application Block 学习笔记之一使用配置文件
    Javascript 学习笔记之String类测试
    javascript学习笔记之Object类型测试
  • 原文地址:https://www.cnblogs.com/jingyunyb/p/3410715.html
Copyright © 2011-2022 走看看