爬前叨叨
从40篇博客开始,我将逐步讲解一下手机APP的爬虫,关于这部分,我们尽量简化博客内容,在这部分中可能涉及到一些逆向,破解的内容,这部分尽量跳过,毕竟它涉及的东西有点复杂,并且偏离了爬虫体系太远,有兴趣的博友,可以一起研究下。
之前看到知乎有人对手机App爬虫归类,基本符合规则,接下来的10篇博客可能集中在80%的App上,所以还是比较简单的
- 50%的app,通过抓包软件就可以分析出抓取参数并抓取到信息。
- 30%的app,可能需要适当的反编译,分析出加密算法并抓取到信息。
- 10%的app,可能加固,需要脱壳,然后反编译,分析出加密算法并抓取到信息
- 10%的app,通过各式各样的签名,证书,设备绑定等方法,隐藏加密算法。
首先配置第一轮的环境,配置好了,下一篇博客,就采用Fiddler+夜神模拟器[雷电模拟器]等实现儿歌多多APP的数据抓取工作
抓包
抓包是爬虫里面经常用到的一个词,完整的应该叫做抓取数据请求响应包
,而Fiddler这款工具就是干这个的,当然还有其他工具,后面的博客中咱也会提及到
你可以百度关键字:Fiddler抓取手机APP 相关的博客一大票~,哪篇博客基本都可以叫你入门,所以你可以看看各家的,今天我这篇博客主要写的是Fiddler配合模拟器实现抓包操作。
百度Fiddler软件,找到官网,下载按照流程安装即可,当然你可以自己去找一个汉化版,这个看你使用百度的