node-并发控制

当我们在做一些爬虫小程序的时候，如果我们一次性爬的数据条较多，那么相关软件也许会有限制或者是认为我们是非法的。那么我们就需要一些机制去限制获取数据的条数。而且node为我们提供的并发获取数据都是异步的。

• eventproxy控制并发
  思路：

1. 先var ep = new eventproxy();得到一个实例；

2. 告诉他们你要监听的时间，并给它一个回调函数，ep.all('event1', 'event2', function (result1, result2) {})；

3. 在适当的时候ep.emit('event_name', eventData)；

    	ep.all('data1_event', 'data2_event', 'data3_event', function(data1, data2, data3){
    	    //监听三个事件，每当一个源数据抓取完成时，就通过emit来告诉ep自己
    	    var html = fuck(data1, data2, data3);
    	    render(html);
    	});
    	
    	$.get('http://data1_source', function(data){
    	    ep.emit('data1_event', data);
    	});
    	
    	$.get('http://data2_source', function(data){
    	    ep.emit('data2_event', data);
    	});
    	
    	$.get('http://data3_source', function(data){
    	    ep.emit('data3_event', data);
    	});
   

• async控制并发
  主要是使用到了async模块的mapUrl(arr, limit, iterator, callback)接口；

    async.mapLimit(urls, 5, function(url, callback){
      //
    }, function(err, result){
      //
    });