Python爬虫入门教程 48-100 使用mitmdump抓取手机惠农APP-手机APP爬虫部分

1. 爬取前的分析

mitmdump是mitmproxy的命令行接口，比Fiddler、Charles等工具方便的地方是它可以对接Python脚本。
有了它我们可以不用手动截获和分析HTTP请求和响应，只需写好请求和响应的处理逻辑即可。
它还可以实现数据的解析、存储等工作，这些过程都可以通过Python实现。

1.1 启动mitmdump 保存到文件

使用命令

mitmdump -w crawl.txt  

其中 crawl.txt 可以为任意文件名，就可以保存相应的结果了

1.2 调用脚本文件

mitmdump -s script.py

script.py 文件中编写如下代码

# 修改UA
def request(flow):
    flow.request.headers[