Fiddler 抓取https请求

　　引言

　　在日常测试中，不管是功能测试还是接口测试，避免不了抓包。抓包工具有很多，这里只讲fiddler的使用，并且是对https请求的抓取。

　　概况

　　抓包之前，先了解一下Fiddler。

　　Fiddler是一款免费且功能强大的数据包抓取软件。它通过代理的方式获取程序http通讯的数据，可以用其检测网页和服务器的交互情况，能够记录所有客户端和服务器间的http请求，支持监视、设置断点、甚至修改输入输出数据等功能。fiddler包含了一个强大的基于事件脚本的子系统，并且能够使用.net框架语言扩展。

　　基本原理

　　Fiddler是位于客户端和服务器端之间的HTTP代理， 它能够记录客户端和服务器之间的所有 HTTP(S)请求，可以针对特定的HTTP(S)请求，分析网络传输的数据，还可以设置断点、修改请求的数据和服务器返回的数据。
Fiddler在浏览器与服务器之间建立一个代理服务器，Fiddler工作于七层中的应用层，能够捕获通过的HTTP(S)请求。Fiddler启动后会自动将代理服务器设置成本机，默认端口为8888。Fiddler不仅能记录PC上浏览器的网络请求数据，还可以记录同一网络中的其他设备的HTTP(S)请求数据。数据传递流程大致如下：

　　

　　1) 客户端像WEB服务器发送HTTP(S)请求时，请求会先经过代理Fiddler代理服务器。
　　2) Fiddler代理服务器截取客户端的请求报文，再转发到WEB服务器，转发之前可以做一些请求报文参数修改的操作。
　　3) WEB服务器处理完请求以后返回响应报文，Fiddler代理服务器会截取WEB服务器的响应报文。
　　4) Fiddler处理完响应报文后再返回给客户端。

　　简单来说就是：

　　客户端请求 -> 经过代理 -> 到达服务端
　　服务端返回 -> 经过代理 -> 到达客户端

　　抓HTTPS的原理

　　现在APP中的数据传输基本上都使用HTTS传输，传输的数据都是经过加密的，这增加了我们分析数据包的难度，还好Fiddler除了可以抓取HTTP数据包，还可以抓取HTTPS数据包。由于HTTPS传输需要使用到CA证书，所以抓取抓取HTTPS数据包时需要做一些特殊配置。Fiddler截取HTTPS报文的流程大致如下：

　　

　　1) 客户端请求建立HTTPS链接，发送客户端支持的加密协议及版本列表等信息给服务器端。
　　2) Fiddler接受客户端请求并伪装成客户端向WEB服务器发送相同的请求。
　　3) WEB服务器收到Fiddler的请求以后，从请求中筛选合适的加密协议。并返回服务器CA证书，证书中包括公钥信息。
　　4) Fiddler收到WEB服务器的响应后保存服务器证书并自签名一个CA证书，伪装成服务器，把该证书下发给客户端。
　　5) 客户端验证证书合法性。（Fiddler能否抓取到HTTPS报文关键看这一步）
　　6) 客户端生产对称密钥，通过证书的公钥加密发送给服务器。
　　7) Fiddler拦截客户端的请求以后，使用私钥解密该报文，获取对称加密秘钥，并使用服务器证书中带的公钥加密该对称密钥发送给WEB服务器。此时对称密钥已经泄露了，以后可以使用该秘钥界面客户端和服务器端传输的数据。
　　8) WEB服务器接收到客户端发送的加密的对称密钥后使用私钥解密，并使用对称密钥加密测试数据传给客户端。
　　9) Fiddler使用前面获取的对称密钥解密报文。
　　10) 客户端验证数据无误以后HTTPS连接就建立完成，客户端开始向服务器发送使用对称密钥加密的业务数据
　　11) Fiddler使用前面获取的对称密钥解密客户端发送的数据并重新加密转发给客户端。

　　HTTPS请求两类

　　1.带证书的https请求：请求中携带证书，只要证书正确就能请求过去，没有其它要求。

　　2.不带证书的https请求：只要是CA颁布的正规证书(收费的)，都可以不用携带证书，达到https的加密效果，大大减轻了请求的代码量，但是这种请求必须要求请求方合法(时间要正确，比如把手机时间调成几天前，证书就会认为请求非法，拒绝访问)

　　Fiddler抓包要求

　　从上面可以看到，fiddler相当于代理，客户端和服务器交互都要通过fiddler，Fiddler抓取HTTPS协议成功的关键是根证书（根证书是CA认证中心给自己颁发的证书,是信任链的起始点。安装根证书意味着对这个CA认证中心的信任。）,这是一个信任链的起点，这也是Fiddler伪造的CA证书能够获得客户端和服务器端信任的关键。

　　手机或模拟器抓包https请求的话，需要在手机上安装fiddler证书。

　　安装步骤这里不复述了。

　　问题1：需要注意的是，不是任何Https请求包都可以抓到的。

　　Android7.0以下是可以的，只要手机里安装对应的CA证书，比如用Charles抓包，手机只需安装Charles提供的证书就行；Android7.0之后，Google推出更加严格的安全机制，应用默认不信任用户证书(手机里自己安装的证书)，自己的app可以通过配置解决，但是抓其它app的Https请求就行不通。

　　首先看一下安卓7.0以上的系统，抓包如下：

　　

 　　　

　　

 　　如果是安装7.0以下的版本，这里拿安卓4.0来演示，如图：

　　 

 　　

　　结论是android7.0以下版本，在模拟器下抓包https是没有问题的。当然手机同样的版本也会支持。而高于7.0的安卓系统则抓不了https请求。

　　注意这里的https请求是没有携带CA证书到请求中去的。

　　问题2：如果不能，那些情况下可以抓取，那些情况下抓取不到？

　　虽然Android7.0之后常规手段不能抓Https的包，但是可以通过黑科技跳过证书验证流程，例如，通过xposed，安装JustTrustMe模块,Https证书验证直接跳过。这个没有试过，可自行测试。

　　 问题3：如何防止被抓包？

1. Https双向验证，不是客户端的请求，拒接链接(这里服务端拒绝和客户端建立连接)
2. 判断是否是使用WIFI代理(不可靠，可以通过hook跳过)
3. 数据加密传输(很多app都是采用加密传输，要注意密钥的安全问题，防止被反编译泄露密钥)

　　总结

　　以上就是手机或模拟器抓取https请求包的介绍。一些简单安装或抓取步骤就没在这里一一讲解。 另外对自动化测试，测试开发及性能测试相关的朋友可以加入交流群，学习与沟通~