Puppeteer的使用

资源链接

Puppeteer官方文档：https://github.com/GoogleChrome/puppeteer

puppeteer社区：https://slack.com/

安装

// 安装puppeteer

cnpm i puppeteer

// 安装puppeteer-core

cnpm i puppeteer-core

常用方法或属性

1. puppeteer.launch([options])

//Puppeteer 模块提供了一种启动 Chromium 实例的方法。 下面就是使用 Puppeteer 进行自动化的一个典型示例：
const puppeteer = require('puppeteer');

puppeteer.launch().then(async browser => {
  const page = await browser.newPage();
  await page.goto('https://www.google.com');
  // 其他操作...
  await browser.close();
});

2.Browser 

当 Puppeteer 连接到一个 Chromium 实例的时候会通过 puppeteer.launch 或 puppeteer.connect 创建一个 Browser 对象。

//下面是使用 Browser 创建 Page 的例子
const puppeteer = require('puppeteer');

puppeteer.launch().then(async browser => {
  // 存储节点以便能重新连接到 Chromium
  const browserWSEndpoint = browser.wsEndpoint();
  // 从 Chromium 断开和 puppeteer 的连接
  browser.disconnect();

  // 使用节点来重新建立连接
  const browser2 = await puppeteer.connect({browserWSEndpoint});
  // 关闭 Chromium
  await browser2.close();
});

//一个断开连接和重连到 Browser 的例子：
const puppeteer = require('puppeteer');

puppeteer.launch().then(async browser => {
  // 存储节点以便能重新连接到 Chromium
  const browserWSEndpoint = browser.wsEndpoint();
  // 从 Chromium 断开和 puppeteer 的连接
  browser.disconnect();

  // 使用节点来重新建立连接
  const browser2 = await puppeteer.connect({browserWSEndpoint});
  // 关闭 Chromium
  await browser2.close();
});

3.Page

Page 提供操作一个 tab 页或者 extension background page 的方法。一个 Browser 实例可以有多个 Page 实例。

下面的例子创建一个 Page 实例，导航到一个 url ，然后保存截图：

const puppeteer = require('puppeteer');

puppeteer.launch().then(async browser => {
  const page = await browser.newPage();
  await page.goto('https://example.com');
  await page.screenshot({path: 'screenshot.png'});
  await browser.close();
});

4.Keyboard

Keyboard 提供一个接口来管理虚拟键盘. 高级接口为 keyboard.type, 其接收原始字符, 然后在你的页面上生成对应的 keydown, keypress/input, 和  keyup 事件.

为了更精细的控制(虚拟键盘), 你可以使用 keyboard.down, keyboard.up 和 keyboard.sendCharacter 来手动触发事件, 就好像这些事件是由真实的键盘生成的.

//持续按下 Shift 来选择一些字符串并且删除的例子:
await page.keyboard.type('Hello World!');
await page.keyboard.press('ArrowLeft');

await page.keyboard.down('Shift');
for (let i = 0; i < ' World'.length; i++)
  await page.keyboard.press('ArrowLeft');
await page.keyboard.up('Shift');

await page.keyboard.press('Backspace');
// 结果字符串最终为 'Hello!'

//按下A的例子
await page.keyboard.down('Shift');
await page.keyboard.press('KeyA');
await page.keyboard.up('Shift');

5. Mouse

Mouse 类在相对于视口左上角的主框架 CSS 像素中运行。

每个 page 对象都有它自己的 Mouse 对象，使用见 page.mouse。

// 使用 ‘page.mouse’ 追踪 100x100 的矩形。
await page.mouse.move(0, 0);
await page.mouse.down();
await page.mouse.move(0, 100);
await page.mouse.move(100, 100);
await page.mouse.move(100, 0);
await page.mouse.move(0, 0);
await page.mouse.up();

实战

实战01：跳转指定页面

源码：跳转到百度首页

const puppeteer=require('puppeteer');

(async ()=>{

    const browser = await puppeteer.launch({headless:false,defaultViewport:{1000,height:800}});
    const page=  await browser.newPage();
    await page.goto("https://www.baidu.com");

})();

 实战02：输入文本与元素点击

代码：在百度中搜索

const puppeteer=require('puppeteer');

(async ()=>{

    const browser = await puppeteer.launch({headless:false,defaultViewport:{1000,height:800}});
    const page=  await browser.newPage();
    await page.goto("https://www.baidu.com");  //跳转页面
    const input_text= await page.$("#kw");     //获取百度首页的搜索框。page.$()用来查找元素
    await input_text.type("Hello Word!");      //type()输入内容
    const btn_click=await page.$("#su");       //获取百度首页的搜索按钮。
    await btn_click.click();                   //点击搜索按钮。

})();

实战03：获取文本元素值

源码：获取百度词条的值

const puppeteer=require('puppeteer');

(async ()=>{

    const browser = await puppeteer.launch({headless:false,defaultViewport:{1000,height:800}});
    const page=  await browser.newPage();
    await page.goto("https://www.baidu.com");  //跳转页面
    const input_text= await page.$("#kw");     //获取百度首页的搜索框。page.$()用来查找元素
    await input_text.type("Hello Word!");      //type()输入内容
    const btn_click=await page.$("#su");       //获取百度首页的搜索按钮。
    await btn_click.click();                  //点击搜索按钮。

    await page.waitFor('div#content_left > .result-op.c-container.xpath-log',{visible:true});//由于获取元素是异步操作，需要等待该元素加载出来

    let resultText= await page.$eval('div#content_left > .result-op.c-container.xpath-log',ele=>{return ele.innerHTML})//获取元素并返回元素下的innerHTML。 .$eval表示获取单个元素
    console.log("result is ",resultText);//在控制台打印出值。

})();

 实战04：puppeteer文件上传操作

代码：在百度首页上传图片

const puppeteer=require('puppeteer');

(async ()=>{
    const browser = await puppeteer.launch({headless:false,defaultViewport:{1000,height:800}});
    const page = await browser.newPage();
    await page.goto('https://www.baidu.com');

    await page.waitForSelector('span.soutu-btn');  //等待选择元素出现
    const soutuBtn=await page.$('span.soutu-btn'); //获取图片按钮
    await soutuBtn.click();                        //点击展开图片按钮

    await page.waitForSelector('input.upload-pic');   //等待上传按钮出现
    const uploadPic=await page.$('input.upload-pic'); //获取上传按钮
    await uploadPic.uploadFile('C:\Capture.PNG');    //上传图片。注意：路径要用双斜杠。
})();

实战05：puppeteer处理多个元素

 代码：打印京东上的手机信息

const puppeteer = require('puppeteer');

(async()=>{
    const browser=await puppeteer.launch({headless:false,defaultViewport:{1000,height:800}});
    const page =await browser.newPage();
    await page.goto('https://www.jd.com');

    await page.waitFor("#key");
    const inputText=await page.$("#key");
    await inputText.type("手机");
    await page.keyboard.press('Enter');

    await page.waitForSelector("ul.gl-warp > li");
    const items=await page.$$eval("ul.gl-warp > li",eles=>eles.map(ele=>ele.innerText));
    console.log("手机列表=",items);
})();

实战06：puppeteer切换iframe进行操作

iframe跟page的用法类似。使用前需要切换到iframe里面并用src定位要操作的iframe。

操作可参考：https://github.com/GoogleChrome/puppeteer/blob/v1.20.0/docs/api.md#class-frame

代码：自动在阿里云的注册iframe里面填写注册信息

const puppeteer = require('puppeteer');

(async()=>{
    const browser = await puppeteer.launch({headless:false,defaultViewport:{1000,height:800}});
    const page = await browser.newPage();
    await page.goto("https://account.aliyun.com/register/register.html");

    //切换iframe
    const frame= await page.frames().find(frame=>frame.url().includes("https://passport.aliyun.com"));//切换iframe,并找到对应src的iframe
    await frame.waitFor("input#nick"); //等待输入框加载完成
    const nick =await frame.$("input#nick");//获取输入框
    await nick.type("测试用户");//输入数据
    
})();

实战07：puppeteer拖拽操作阿里云验证码

代码：自动操作阿里云验证滑动模块

const puppeteer = require('puppeteer');

(async()=>{
    const browser = await puppeteer.launch({headless:false,defaultViewport:{1000,height:800},ignoreDefaultArgs:["--enable-automation"]});//在有些页面可能需要将automation提示去掉。使用ignoreDefaultArgs:["--enable-automation"]参数
    const page = await browser.newPage();
    await page.goto("https://account.aliyun.com/register/register.html");

    //切换iframe
    const frame= await page.frames().find(frame=>frame.url().includes("https://passport.aliyun.com"));//切换iframe,并找到对应src的iframe
    await frame.waitForSelector("span#nc_1_n1z");//等待滑动块加载完成
    const span =await frame.$("span#nc_1_n1z");  //获取滑动元素
    const spanInfo=await span.boundingBox();     //获取滑动块的信息，包括位置（x,y）以及宽和高
    //console.log(spanInfo);

    await frame.waitForSelector("div#nc_1_n1t"); //等待包裹滑块的div加载完成
    const outDiv=await frame.$("div#nc_1_n1t");  //获取包裹滑块的div
    const outDivInfo=await outDiv.boundingBox(); //获取包裹滑块的div的信息，包括位置（x,y）以及宽和高
    //console.log(outDivInfo);

    await page.mouse.move(spanInfo.x,spanInfo.y);//将鼠标移动到滑块位置
    await page.mouse.down();                     //将鼠标按下（默认是左键）
    for(var i=0;i<outDivInfo.width;i++){
        page.mouse.move(spanInfo.x+i,spanInfo.y);//让鼠标向左移动outDivInfo的宽度距离
    }
    await page.mouse.up();                       //将鼠标松开
 
})();

实战08：puppeteer自动抓取百度新闻上的语句并自动登录微博账户发一条微博

代码：这个实战似乎翻车了，被微博检测到自动化而被要求输入验证码

const puppeteer = require('puppeteer');
const config=require('./config'); //为了保护我的个人隐私，所以我把账号和密码保存在了config文件中

(async ()=>{
    // console.log(config.username);
    // console.log(config.password);
    const browser = await puppeteer.launch({
        headless:false,
        defaultViewport:{1280,height:800},
        ignoreDefaultArgs:["--enable-automation"],//移除自动化，防止页面生成验证码
        slowMo:200,//输入延迟时间
        args:['--window-size:1280,800'],//调整窗口大小
        
    });
    const page= await browser.newPage();
    await page.goto('https://news.baidu.com/',{waitUntil:"networkidle2"});//第一个参数是要前往的地址url,第二个参数是保证页面全部加载

    await page.waitForSelector('#imgTitle>a>strong');
    const newsText=await page.$eval("#imgTitle>a>strong",ele=>ele.innerText);//匹配第一个元素
    // console.log(newsText);

    await page.goto('https://weibo.com',{waitUntil:"networkidle2"});
    await page.waitFor(5*1000);//防止被检测
    await page.reload();//防止被检测

    await page.waitForSelector('#loginname');                   //等待账号输入框加载完成
    const inputText=await page.$('#loginname');                 //获取账号输入框元素
    await inputText.click();                                    //防止被检测，具体情况具体分析
    await inputText.type(config.username);

    await page.waitForSelector('input[name="password"]');       //等待密码输入框加载完成
    const inputPwd=await page.$('input[name="password"]');      //获取密码输入框
    await inputPwd.click();//防止被检测，具体情况具体分析
    await inputPwd.type(config.password);


    await page.waitForSelector('a[action-type="btn_submit"]');  //等待确认按钮加载
    const submit=await page.$('a[action-type="btn_submit"]');   //获取确认按钮
    await submit.click();                                       //点击

})();

实战09：puppeteer模拟快捷键

 代码演示：https://github.com/GoogleChrome/puppeteer/blob/v1.20.0/docs/api.md#class-keyboard

实战10：puppeteer切换浏览器tab页

主要用到api：browser.target();

文档：https://github.com/GoogleChrome/puppeteer/blob/v1.20.0/docs/api.md#class-browser

实战11：puppeteer处理弹出的对话框

主要用到的api：Dialog处理弹出的内容

文档：https://github.com/GoogleChrome/puppeteer/blob/v1.20.0/docs/api.md#class-dialog

实战12：puppeteer执行JavaScript方法

主要用到的方法：page.evaluate(()=>{  在这里面可以写任意JS代码  })

文档：https://github.com/GoogleChrome/puppeteer/blob/v1.20.0/docs/api.md#class-page

实战13：配置typescript环境，并在其中使用puppeteer

 待完善 

实战14：获取全屏截图

const puppeteer =require('puppeteer');//引入puppeteer
(async()=>{//使用自执行函数
    const browser = await puppeteer.launch();//生成browser实例

    const page = await browser.newPage();//生成一个页面
    await page.goto('https://cn.aliyun.com/');//前往页面

    console.log(await page.content());//打印页面信息（源码）
    await page.screenshot({//截图
    path: 'ali.png',
    fullPage: true
    });

    await browser.close();//关闭browser实例
})();

 

文章就分享到这，欢迎关注“前端大神之路”