zoukankan      html  css  js  c++  java
  • 一个Node.js的小爬虫

    爬虫其实就是对网页内特定id、class、标签内容的提取,多是循环出来的,对我们爬取非常便利。

    1.安装node

    node官网下载安装包安装,后在命令行工具中输入node -v查看node安装的版本。

    2.实现项目

    创建项目并进入

    mkdir node-worm && cd node-worm

    初始化项目环境,一路回车

    npm init

    安装依赖

    npm install request cheerio --save-dev

    在项目根目录创建app.js并写入以下代码

    var request = require('request')
    var cheerio = require('cheerio')
    var reqUrl = 'https://www.cnblogs.com/e-cat/'
    request(reqUrl, function (err, result) {
      if (err) {
        console.log(err)
      }
      let $ = cheerio.load(result.body)
      let list = []
      $('#main #mainContent .forFlow .day').each((index, element) => {
        let date = $($(`${element.name} .dayTitle a`)[index]).text() || ''
        let title = $($(`${element.name} .postTitle a span`)[index]).text()
        let desc = $($(`${element.name} .postCon .c_b_p_desc`)[index]).text()
        let href = $($(`${element.name} .postTitle a`)[index]).attr('href')
        let obj = {
          date,
          title,
          desc,
          href,
        }
        list.push(obj)
      })
      console.log(list)
    })

    其中reqUrl为爬取目标网址,提取的obj即为最终获取的内容结构。

  • 相关阅读:
    学校的破网,你别再掉了
    PhotoShop SDK的获取
    我的C++博客开张了
    一个新的嵌入式门户
    试用Bloglines.com
    PhotoShop的插件体系
    VB6 to VB.NET Migration Guide Community Preview #4
    看看Microsoft都买了些什么
    Borland CTO辞职
    PhotoShop插件的开发
  • 原文地址:https://www.cnblogs.com/e-cat/p/13202709.html
Copyright © 2011-2022 走看看