一、新建隐身窗口
在打开隐身窗口的时候,第一次请求某个网站是没有携带cookie的,和代码请求一个网站一样,不携带cookie。这样就能够尽可能的理解代码请求某个网站的结果;除非数据是通过js加载出来的,不然爬虫请求到的数据和浏览器请求的数据大部分时候都是相同的。
二、Chrome中Network功能
1、Perserve log
默认情况下,页面发生跳转之后,之前的请求url地址等信息都会消失,勾选“perserve log”后之前的请求都会被保留。
2、Filter过滤
在url地址很多时,可以输入url进行过滤
3、观察特点种类的请求
默认是选择all,即观察所有种类请求。
其他选项:
- XHR:大部分情况表示ajax请求。
- JS:js请求。
- CSS:css请求。
- Img:图片请求。
三、找POST请求的URL和要发送的数据
1、通过表单找出POST的URL
- 使用chrome浏览器的选择工具,选择表单的输入框,看Elements中的定位的位置,向上找from标签中的action属性中的URL。
- 如果没有action,就说明它是通过js发送的请求,那就监听它的按钮点击事件,找到对应的js。
总结:
2、使用Network监听按钮点击事件,找出POST的URL
- 点击chrome浏览器的Network
- 勾选Preserve log按钮,保留页面跳转前的请求