storm定时任务【tick】

一. 简介

     storm作为流计算，处理数据通常以数据驱动。即只有当spout发射数据才会进行计算。那么如果想要做定时任务如何处理哪，例如有的bolt需要输出一段时间统计的结果，这里一段时间可能是几秒、几分钟或者几小时。如果还是以数据进行驱动的话必然会输出时间不可确定。同样也可以启一个线程一段时间执行一次，这也是一种解决方案。但是我希望有种更优雅的解决方案，就是这里说的tick。tick是由storm框架进行计时，到达设定时间会发送一个特殊的tuple：ticktuple，此时处理定时任务就可以了。

二. 代码

     如果是某一个bolt由定时需求的话，可以按照一下方式设置

1. 继承BaseBasicBolt
2. getComponentConfiguration方法设置发送ticktuple间隔时间（单位s）
3. execute方法判断tuple类型，如果为ticktuple处理定时任务，如果不是处理其他任务。

以下是wordCount中CountBolt代码，每5s输出各单词统计的数据。

//继承 BaseBasicBolt
public class CountTickBolt extends BaseBasicBolt {
    private static final Logger logger = LoggerFactory.getLogger(CountTickBolt.class);
    private Map<String, Integer> count;
    private Long time;

    @Override
    public Map<String, Object> getComponentConfiguration() {
        //设置发送ticktuple的时间间隔
        Config conf = new Config();
        conf.put(conf.TOPOLOGY_TICK_TUPLE_FREQ_SECS, 5);
        return conf;
    }

    @Override
    public void prepare(Map stormConf, TopologyContext context) {
        super.prepare(stormConf, context);
        count = new HashMap<String, Integer>();
        time = System.currentTimeMillis();
    }

    @Override
    public void cleanup() {
        super.cleanup();
    }

    @Override
    public void execute(Tuple input, BasicOutputCollector collector) {
        //判断是否为tickTuple
        if (input.getSourceComponent().equals(Constants.SYSTEM_COMPONENT_ID) &&
                input.getSourceStreamId().equals(Constants.SYSTEM_TICK_STREAM_ID)){
            //是，处理定时任务
            Long nowTime = System.currentTimeMillis();
            Long useTime = nowTime - time;
            StringBuffer sb = new StringBuffer();
            sb.append("======== Use Time :" + useTime + "========
");
            for (Map.Entry wordCount : count.entrySet()){
                sb.append(wordCount.getKey() + "------>" + wordCount.getValue() + "
");
            }
            Long nnTime = System.currentTimeMillis();
            logger.info(sb.toString() + (nnTime - nowTime) );
            time = nnTime;
        }else {
            //否，处理其他数据
            String word = input.getString(0);
            if (count.containsKey(word)){
                int thisWordCont = count.get(word);
                count.put(word, ++thisWordCont);
            }else {
                count.put(word,1);
            }
        }
    }

    @Override
    public void declareOutputFields(OutputFieldsDeclarer declarer) {

    }

三. 总结

     以上是一个简单的介绍，需要说明的是由于设置时间间隔是秒级的，所以在处理时会有毫秒级的误差，通常是± 2ms。

　　以下是没有介绍或者测试到的地方，在以后会补上。

1. 如何设置此拓扑中所有的spout和bolt都定时处理。
2. 由于是tuple类型数据，当正常tuple数据量过大时是否会造成tickTuple延时消费。

　　WordCout源码：https://github.com/youtNa/stormTick