zoukankan      html  css  js  c++  java
  • nodejs 循环中操作需要同步执行解决方案

    最近用nodejs做了个针对某网站的小爬虫。干坏事得低调对吧,不能同时开太多的网络访问,结果各种回调/循环虐的心力交瘁。

    经过了n次的百度\哥哥后终于拼出了自己要的功能。不敢独享分享出来以供大家参考。

    废话不多说直接上代码

      var async = require("async");
    var citysUrl=[];
    var urlsArray=[];
     async.eachSeries(citysUrl, function (city, nextcity) {//城市循环
            channels.forEach(function (channel) {//组合url
                var options = GetOptions(channel);
                options.forEach(function (option) {
                    var pageurl = GetUrl(city, channel, option);
                    urlsArray.push(pageurl);
                });
            });
            console.log("开始抓取" + GetcityName(city) + "的产品信息");
            async.eachSeries(urlsArray, function (url, next) {
                async.waterfall([function(cb){
              Grab(url,cb);//Grab为异步抓取url操作function(url,cb){此处省略一万字//异步完成时调用cb(null,html);}
                },
                function(data,cb){
              console.log('分析html');
              cb(null,2)
                }],function(err,data){
                    console.log('一次循环结束');
              next(); }); },
    function (err,data) { console.log(GetcityName(city) + "产品抓取完成"); urlsArray = []; nextcity(); }); }, function () { console.log('所有城市产品抓取完成'); process.exit(); });
  • 相关阅读:
    《网络攻防实践》6.0
    《网络攻防实践》5.0
    Docker 本地镜像发布到阿里云(完结篇)
    Vue 实战-9 Vue公共js功能函数的封装和使用
    Vue 实战-8 单独运行测试.js文件
    Docker 常用安装
    DockerFile 解析及案例
    Docker 容器数据卷
    Docker 镜像原理
    多字段模糊匹配 -->搜索功能(mysql原生语句实现)
  • 原文地址:https://www.cnblogs.com/Leaner/p/6118694.html
Copyright © 2011-2022 走看看