zoukankan      html  css  js  c++  java
  • 【Python3 爬虫】15_Fiddler抓包分析

    我们要抓取一些网页源码看不到的信息,例如:淘宝的评论等

    我们可以使用工具Fiddler进行抓取

    软件下载地址:https://pan.baidu.com/s/1nPKPwrdfXM62LlTZsoiDsg 密码:wche

    安装不详细介绍,直接下一步即可

    安装完成后,运行程序如下:

    image

    设置代理

    打开火狐浏览器

    image

    image

    如下设置:

    image

    Fiddler默认只能抓取HTTP协议的网页,不能抓取HTTPS协议的网页,而我们很多时候,都需要抓HTTPS协议的网页。

    Tool-----Options-----HTTPS,设置如下:

    image

    设置过程中或许会提示如下,直接点击Yes即可

    image


    然后点击Actions----Export Root Certificate to Desktop

    image

    点击确定后,桌面上就出现该图标

    image

    接着,我们可以在浏览器导入该证书,我们打开火狐浏览器

    image

    【选项】---【隐私与安全】--【证书】---【查看证书】---【导入】

    image

    点击【导入】

    image


    勾选下图所示2个按钮

    image

    上述信息设置完毕之后,我们刷新网址:https://www.taobao.com/

    image

    再看Fiddler什么也没有

    image

    那么是什么问题呢?

    接下来,我们win+R 并输入certmgr.msc并回车打开证书管理器

    image

    【操作】---【查找证书】

    image

    此处,我们找到了很多个证书,我们通过右键--删除所有证书

    删除完成之后如下图:

    image

    接下来,删除火狐中的相关证书

    【选项】---【隐私与安全】---【证书】---【查看证书】

    image

    找到DO_NOT开头的Fiddler证书进行删除

    依次删除【个人】、【服务器】、【其他】下的证书

    这些证书删除完毕以后

    点击以下地址下载文件

    https://files.cnblogs.com/files/OliverQin/fiddlercertmaker.zip

    下载后解压,直接打开,报错忽略即可

    image

    接着重启Fiddler,重启完毕后,随便打开一个商品的评论

    image

    先使用clear清除内容,然后刷新评论

    我刷新的页面如下:

    image

    刷新完毕之后再次看Fiddler

    image

    我们可以看到,已经可以抓取了,如果上述设置还是不行,那么打开Fiddler安装的目录:例如(D:softfiddler)

    在cmd中进入到该目录,执行以下代码

    makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUST, OU=Created by http://www.fiddler2.com" -sky signature -eku 1.3.6.1.5.5.7.3.1 -h 1 -cy authority -a sha1 -m 120 -b 09/05/2012

    执行结果如下:

    image

    执行完毕之后再次导出导入CA证书。

  • 相关阅读:
    ros::NodeHandle成员介绍
    ros::NodeHandle成员介绍
    odom_out_and_back.cpp
    odom_out_and_back.cpp
    c++实现ros by example volume1 例子timed_out_and_back功能
    SQL语句进阶
    数据库基础(常用的SQL)
    安装Mysql
    1.初识数据库
    (MYSQL错误解决)本地计算机上的MYSQL服务启动停止后,某些服务在未由其他服务或程序使用时将自动停止
  • 原文地址:https://www.cnblogs.com/OliverQin/p/8908393.html
Copyright © 2011-2022 走看看