zoukankan      html  css  js  c++  java
  • python + 爬虫 + fiddler + 夜神模拟器 爬取app(1)

    抓包

    抓包是爬虫里面经常用到的一个词,完整的应该叫做抓取数据请求响应包 ,而Fiddler这款工具就是干这个的

    普通https抓包设置

    打开Fiddler ------> Options .然后打开的对话框中,选择HTTPS tab页,如图所示:

    说明 (配置完后记得要重启Fiddler)

    1. 选中"Decrpt HTTPS traffic", Fiddler就可以截获HTTPS请求
    2. Ignore server certificate errors忽略证书错误

    第一次会提示是否信任fiddler证书及安全提醒,选择yes,之后也可以在系统的证书管理中进行管理。

    配置Fiddler允许远程连接

    切换tab选项卡到 Connections 配置端口

    1. 选中"Allow remote computers to connect". 是允许别的机器把HTTP/HTTPS请求发送到Fiddler上来

    等会设置手机代理时需要。设置好后重启fiddler保证设置生效。

    到现在为止,其实Fiddler已经可以抓取你电脑上浏览器访问的数据了,如果不行,重启Fiddler和浏览器即可

    记录本机的IP

    打开cmd窗口,不会的自行百度

    在里面输入 ipconfig 获取你的ip4地址 ,这个地址一定要记住,后面配置模拟器的时候是需要用的~

    ip 192.168.137.1

    下载模拟器

    你可能更多的时候是使用模拟器来打游戏,作为程序猿,模拟器上安装APK是非常好用的。

    自行下载安装夜神模拟器,雷电模拟器或者其他的都可以

    下载APK文件,直接拖拽到下面视图,就可以直接安装

    找到设置,点击Wlan,长按鼠标左键,出现如下界面

    点击修改网络

    代理模式选择手动,输入刚才的IP和上述提到的8888端口

    使用模拟器默认浏览器打开 , 点"FiddlerRoot certificate" 然后安装证书,如图:

    安装完毕之后,打开模拟器上的浏览器,输入www.baidu.com

    在Fiddler中抓取到如下链接,代表环境配置已经完毕

    温馨提示下,在抓包过程中,你的fiddler不能关闭哦。关闭了之后你手机网络就不能用了。

    停止网络监控的话去掉wifi的代理设置即可

    设置过滤

    1.手机上设置代理后,这时候fiddler上抓到的是pc和app所有的请求,如果pc上打开网址,会很多,这时候就需要开启过滤功能了。

    2.打开fiddler>Tools>Fiddler Options>HTTPS>...from remote clients only,勾选这个选项就可以了

    • ...from all processes :抓所有的请求
    • ...from browsers only :只抓浏览器的请求
    • ...from non-browsers only :只抓非浏览器的请求
    • ...from remote clients only:只抓远程客户端请求

    Fiddler 抓包简介

    Fiddler想要抓到数据包,要确保Capture Traffic是开启,在File –> Capture Traffic。开启后再左下角会有显示,当然也可以直接点击左下角的图标来关闭/开启抓包功能。

    需要能简单看懂Fiddler上的内容

    更详细的使用,可以参考一篇写的很不错的文章 参考博客

    上述横着的红色框

    名称

    含义

     

    抓取HTTP Request的顺序,从1开始,以此递增

    Result

    HTTP状态码

    Protocol

    请求使用的协议,如HTTP/HTTPS/FTP等

    Host

    请求地址的主机名

    URL

    请求资源的位置

    Body

    该请求的大小

    Caching

    请求的缓存过期时间或者缓存控制值

    Content-Type

    请求响应的类型

    Process

    发送此请求的进程:进程ID

    Comments

    允许用户为此回话添加备注

    Custom

    允许用户设置自定义值

    下面竖着的红色框

     
     
    注意: fiddler安装
      

    重启fiddler,依然停留在 HTTPS 选项卡,点击右侧Actions,能看一个下拉菜单,点击 Export Root Certificate to Desktop,此时证书会生成到桌面上,名为 FiddlerRoot.cer,点OK保存

     
     

    7、导入证书进行安装

    这部分android和ios有一点不同。

    方法一:

    1)android可以连接到电脑上,从电脑上打开手机的内存卡,直接把证书导入SD卡中。

    2)点击设置——>安全——>从SD卡安装——>从内部存储空间中找到证书,点击安装即可

     
     
     
     
     
     
     
     

    方法二:

    ios可以在手机浏览器上登录邮箱,然后将证书发送到邮箱中,在手机上查看邮件,点击附件进行证书的安装即可

    8、查看HTTPS

    打开fiddler,Tools——>Fiddler Options…,切换到HTTPS选项卡,把选项都勾选上,点击保存,就可以查看HTTPS接口了

     
     



    转载自:https://www.jianshu.com/p/b8314e835303    https://cloud.tencent.com/developer/article/1401006

  • 相关阅读:
    Kafka 再均衡监听器示例
    Spring boot中异步线程池
    【Java&Go并发编程系列】4.等待一组并发任务完成——CountDownLatch VS sync.WaitGroup
    Redis常用命令对应到Redisson对象操作
    js清空缓存,ajax
    phpexcel用法 转、
    composer 使用
    转:git操作
    手机微信内支付
    微信扫码支付
  • 原文地址:https://www.cnblogs.com/xf1026/p/11064417.html
Copyright © 2011-2022 走看看