用puppeteer爬取网页数据初体验

用puppeteer爬取网页数据

业务需求，页面需要显示很多链接列表，像这样的。

我问项目经理要字典表，他笑咪咪地拍着我的肩膀说：“这边有点忙，要不按照这个自己抄一下吧”。

emmm…

我看了一下，数据大概有七八百条，一个一个录入，那不得搞到地老天荒、海枯石烂。

心口一股燥热，差点就要口吐莲花，舌吐芬芳了…

转念一想，做人要儒雅随和，念在平时没少蹭吃蹭喝的份上，咱先弄一下吧。

可是怎么弄呢？

一个一个输入是不可能的，我们需要录入每个组的标题、标题下的名称和链接，这是需要看网页源码，效率太低。

拦截接口也不行，网页是 PHP 写的，后端渲染，前端看不到接口。

那就只有一种方法，爬取网页数据。想到之前了解过的pupeteernodejs 库可以爬取网页数据，要不咱先试一下？

说干就干。

准备工作

安装依赖，puppeteer 下载完成后会自动下载 me

1	npm install puppeteer

代码实现

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61

const puppeteer = require("puppeteer"); const fs = require("fs"); const path = require("path"); const urlList = [ { name: "双色球", url: "http://cjzst.36886.net/cjwssq/" }, { name: "七乐彩", url: "http://cjzst.36886.net/cjwqlc/" }, { name: "福彩3D", url: "http://cjzst.36886.net/cjw3d/" }, { name: "大乐透", url: "http://cjzst.36886.net/cjwdlt/" }, { name: "七星彩", url: "http://cjzst.36886.net/cjw7xc/" }, { name: "排列三", url: "http 大专栏  用puppeteer爬取网页数据初体验://cjzst.36886.net/cjwpl3/" } ]; puppeteer.launch().then(async browser => { const page = await browser.newPage(); //封装单个网页爬取链接函数 async function (url, fileName) { // 打开链接 await page.goto(url); let result = await page.evaluate(() => { const items = [...document.querySelectorAll(".zst_list_con>ul")]; return items.map(item => { // 分组标题 let titleLink = item.querySelector(".zst_list_name>a"); //分组下链接li let contentLink = [...item.querySelectorAll("li")]; let list = contentLink.map(item => { // li下a链接 let a_list = [...item.querySelectorAll("a")]; return a_list.map(a => { return { title: a.innerText, href: a.href }; }); }); // 返回所有查询结果 return { title: titleLink.innerText, href: titleLink.href, list: list }; }); }); // 将爬取的数据保存到本地 fs.writeFile(`./${fileName}.json`, JSON.stringify(result), "utf8", function( error ) { if (error) { console.log(error); return false; } console.log(fileName + "数据写入成功！"); }); // await page.close(); } // 打开多个网页异步队列 async function openUrlList() { for (let i = 0; i < urlList.length; i++) { await getLinkList(urlList[i].url, urlList[i].name); } } // 执行异步队列 await openUrlList(); //关闭浏览器 await browser.close(); });

爬取结果

大功告成.

源码地址

https://github.com/superman12312/learning/tree/master/NODEJS/puppeteer-demo