zoukankan      html  css  js  c++  java
  • 用node.js做一个爬虫

    用node.js做一个爬虫

    var express = require('express');
    var superagent = require('superagent');
    var cheerio = require('cheerio');
    // 调用 express 实例,它是一个函数,不带参数调用时,会返回一个 express 实例,将这个变量赋予 app 变量。
    var app = express();
    
    app.get('/', function (req, res, next) {
      // 用 superagent 去抓取 https://cnodejs.org/ 的内容
      superagent.get('https://cnodejs.org/')
        .end(function (err, sres) {
          // 常规的错误处理
          if (err) {
            return next(err);
          }
          // sres.text 里面存储着网页的 html 内容,将它传给 cheerio.load 之后
          // 就可以得到一个实现了 jquery 接口的变量,我们习惯性地将它命名为 `$`
          // 剩下就都是 jquery 的内容了
          var $ = cheerio.load(sres.text);
          var items = [];
          $('#topic_list .topic_title').each(function (idx, element) {
            var $element = $(element);
            items.push({
              title: $element.attr('title'),
              href: $element.attr('href')
            });
          });
    
          res.send(items);
        });
    });
    
    app.listen(3000, function (req, res) {
      console.log('app is running at port 3000');
    });

    思想来源:https://github.com/alsotang/node-lessons/tree/master/lesson2

  • 相关阅读:
    python 对比学习
    支付宝
    springboot logback
    ngnix学习视频
    node学习
    puppeteer 相关知识
    Dota2App--第三天
    Dota2APP--第二天
    Dota2APP--第一天
    iOS ---进阶之摇一摇
  • 原文地址:https://www.cnblogs.com/lswit/p/4829179.html
Copyright © 2011-2022 走看看