移动端数据爬取

移动端数据爬取

1. 　抓包工具进行时转包获取url等信息-----------常用抓包工具fiddler、青花瓷、miteproxy
2. 　通过代码发起请求；
3. 　获取响应数据；
4. 　进行数据解析；
5. 　数据持久化。

fiddler抓包工具

　　 Fiddler是位于客户端和服务器端的HTTP代理，也是目前最常用的http抓包工具之一 。 它能够记录客户端和服务器之间的所有 HTTP请求，可以针对特定的HTTP请求，分析请求数据、设置断点、调试web应用、修改请求的数据，甚至可以修改服务器返回的数据，功能非常强大，是web调试的利器。

　　客户端的所有请求都要先经过Fiddler，然后转发到相应的服务器，反之，服务器端的所有响应，也都会先经过Fiddler然后发送到客户端，基于这个原因，Fiddler支持所有可以设置http代理为127.0.0.1:8888的浏览器和应用程序。 

　　（1）下载fiddler之后直接一步下一步安装即可。　　　　

　　（2）fiddler默认只支持http协议的转发，要想支持https协议的转发和抓取，需要进行设置，安装证书。（Tools---->Options---->HTTPS）

　　

　　（3）允许其他设备也能使用fiddler进行代理转发请求和响应，需要如下配置：（Tools---->Options---->Connections），配置端口号如图8888

　　

　　（4）在浏览器访问fiddler代理：http://localhost:8888或者http://192.168.137.1:8888，出现如下页面表示正常，FiddlerRoot certificate是移动端需要安装的证书。

　　

移动端设置

　　（1）移动端设备必须和fiddler在同一网段才能使用fiddler抓包，可以手机连接电脑热点，然后手动设置代理指定fiddler代理的ip（192.168.137.1）和端口（8888）。

　　　　 

　　（2）证书安装：直接在浏览器输入http://192.168.137.1:8888，下载证书FiddlerRoot certificate后安装或者通过其他方式发送到手机进行安装信任！

　　　　　　①安卓设备：把证书放入手机的内置或外置存储卡上，然后通过手机的"系统安全-》从存储设备安装"菜单安装证书。 然后找到拷贝的FiddlerRoot.cer进行安装即可。安装好之后，可以在信任的凭证中找到我们已经安装好的安全证书。

　　　　　　　　

　　　　　　②苹果设备：在浏览器下载证书进入手机设置---->通用---->描述文件---->安装，然后设置---->通用---->关于本机---->证书信任设置---->开启fiddler证书信任

　　　　　　　　

Fiddler对移动端请求进行抓包

　　案例一：句读app数据采集　　

'''
手机app句读【广场】爬取
    1.打开手机句读app
    2.点击下边第三个导航，默认就是【广场】
    3.在fiddler进行抓包，拿到api如下
    4.向下滑动手机，查看抓包工具，找出请求链接进行对比，都是通过get请求，起始位置不同，因此可以简单在第一次请求时设置请求条数即可大量获取
'''
import requests
num=10000#自定义采集数量
url=f'https://judouapp.com/api/v5/statuses?app_key=af66b896-665e-415c-a119-6ca5233a6963&channel=App%20Store&device_id=18a053095ad095fa6c331b7036f589a4&device_type=iPhone10%2C3&pagesign=&per_page={num}&platform=ios&signature=f99a2253c0636fd1de73e82de39fa0e6&system_version=12.3.1&timestamp=1565141295&token=e11dda42765099ff0610bfce807ba440&version=3.8.0&version_code=51'
headers={
'Accept':'*/*',
'Accept-Language':'zh-Hans-CN;q=1, en-CN;q=0.9, en-US;q=0.8',
'Connection':'keep-alive',
'Accept-Encoding':'br, gzip, deflate',
'User-Agent':'JudouRili/3.8.0 (iPhone; iOS 12.3.1; Scale/3.00)',
}

response=requests.get(url,headers=headers).json()
print(len(response["data"]))
fp=open('句读.txt','w',encoding='utf-8')
for index,data in enumerate(response["data"]):
    nickname=data["user"]["nickname"]
    content=data["content"]
    url=data["share_url"]
    published_at=data["published_at"]
    fp.write(f'{index+1}/{num+1}[{published_at}]{nickname}----{url}
	{content}

------------------------------------')

　　案例二：抖音app小视频爬取

'''
通过抓包工具获取抖音个人信息的请求连接，通过requests请求获取视频连接;
此案例是登陆之后好友的抖音视频，注意cookie有效期
'''
import os
import requests
url = 'https://api-hl.amemv.com/aweme/v1/aweme/post/?version_code=7.2.1&pass-region=1&pass-route=1&js_sdk_version=1.17.4.3&app_name=aweme&vid=03AF1BE2-1C49-42F4-9280-4CA78E8554F3&app_version=7.2.1&device_id=48188949731&channel=App%20Store&mcc_mnc=46001&aid=1128&screen_width=1125&openudid=bb6af869d6a21b959b2efc1414af434af4244f52&os_api=18&ac=WIFI&os_version=12.3.1&device_platform=iphone&build_number=72100&device_type=iPhone10,3&iid=80760036119&idfa=FA5BEC32-3917-4E54-92C1-8130C8B5C9FC&min_cursor=0&user_id=104290453971&count=21&max_cursor=0'
headers = {
    'Connection':'keep-alive',
    'x-Tt-Token':'00c5298f55f17f29df1f5870c60971c74eff742bc167d881418c39c6384740987a57ff8920ac697ca665a8c8dea7e50ec42',
    'sdk-version':'1',
    'User-Agent':'Aweme 7.2.1 rv:72100 (iPhone; iOS 12.3.1; zh_CN) Cronet',
    'x-tt-trace-id':'00-d3ac15e52ed8ee0f911103e2f883d140-d3ac15e52ed8ee0f-01',
    'Accept-Encoding':'gzip, deflate',
    'Cookie':'tt_webid=6640617808751937028; __tea_sdk__user_unique_id=6640617808751937028; _ga=GA1.2.1852759965.1533561988; odin_tt=9f303c67997d51ed06eb85033ded2c41c8a051aafc15049d416669246d4a8fc9fbb0ee3cb48b15736c2cd7a1c68e0066; sid_guard=c5298f55f17f29df1f5870c60971c74e%7C1563533383%7C5184000%7CTue%2C+17-Sep-2019+10%3A49%3A43+GMT; uid_tt=d91cf1be6d56ed8851460c54c4bb7b47; sid_tt=c5298f55f17f29df1f5870c60971c74e; sessionid=c5298f55f17f29df1f5870c60971c74e; install_id=80760036119; ttreq=1$10c1e479908eed52765e8ee12a84e43e2253c1f3',
    'X-Khronos':'1565148064',
    'X-Pods':'',
    'X-Gorgon':'83000e560000c220307e34ef71495882f95411d88045512c5c4a',

}
response_json = requests.get(url, headers=headers).json()#相应的是json格式
video_list=response_json["aweme_list"]
#创建好友视频信息列表
video_url=[]
for video_info in video_list:
    nickname =video_info["author"]["nickname"]#昵称
    gender=video_info["author"]["gender"]#性别
    desc=video_info["desc"]#文字描述
    print(desc)
    player_addr=video_info["video"]["play_addr"]["url_list"][0]#播放地址
    video_url.append((f'{nickname}({gender})',desc,player_addr))

print(video_url)
#循环遍历视频列表，分条采集视频数据
for video in video_url:
    if not os.path.exists(video[0]):
        os.mkdir(video[0])
    path = os.path.join(video[0], video[1] + '.mp4')
    with open(path,'wb')as f:
        f.write(requests.get(video[2]).content)