zoukankan      html  css  js  c++  java
  • Python爬虫入门教程 42-100 爬取儿歌多多APP数据-手机APP爬虫部分

    1. 儿歌多多APP简单分析

    今天是手机APP数据爬取的第一篇案例博客,我找到了一个儿歌多多APP,没有加固,没有加壳,没有加密参数,对新手来说,比较友好,咱就拿它练练手,熟悉一下Fiddler和夜神模拟器是如何配合着使用的。

    儿歌多多APP在豌豆荚的下载量还是可以的,一家做内容的APP。

    python3爬虫入门教程

    2. APP安装和使用

    APP直接去下载APK包就可以了,拖拽到夜神模拟器就安装成功了。在模拟器打开出现如下界面,表示已经可以开始操作了,非常儿童的APP。

    python3爬虫入门教程

    3. 抓包测试

    打开APP同时,打开Fiddler,首先测试一下网络是否正常,用模拟器自带的浏览器去访问百度,如果可以访问表示无问题,否则重新设置代理

    运行软件过程中,注意观察Fiddler,如果出现JSON类型的API[接口],就要注意了,你想要的数据就在这里

    python3爬虫入门教程

    我们点击链接,看Fiddler右侧显示内容,主要看我标注的3处重点
    python3爬虫入门教程

    分别是链接,请求头,响应内容

    4. 提取接口链接

    获取到上述地址之后,你就可以提取接口地址了,提取到的接口很长,需要我们进行关键参数的判定

    http://bb.ergeduoduo.com/baby/bb.php?type=getvideos&collectid=29&interver=8&page=1&pagesize=30&grade=-1_-1&user=866174010820641&prod=childstory_ar_4.0.5.0&corp=duoduo&source=childstory_ar_4.0.5.0_m360&srcver=story&ver=1&imei=866174010820641&protect=1
    

    经过一系列的测试,缩短链接如下

    http://bb.ergeduoduo.com/baby/bb.php?type=getvideos&collectid=29&page=1&pagesize=30
    

    关键参数

    type # 获取内容类型
    collectid # 分类
    page = 1 # 页码
    pagesize = 30 # 每页数据
    

    5. 儿歌多多APP数据爬虫编写

    关键地址拿到之后,下面的操作就是选择一个你熟悉的爬虫库去进行操作了,你可以使用scrapy,pyspider 等,也可以直接用requests直接去爬取,都是非常简单的,我就不进行爬虫部分的编写了~

    6. 本篇博客重点内容

    通过儿歌多多,希望你可以把Fiddler和夜神模拟器之间的配合进行抓包。工具使用熟练,只要接口被我们获取到,关键参数被我们提取到,我们就可以快速的编写爬虫去获取它内部的数据了。

    在爬取的过程中,还可以直接去下载视频哦

    python3爬虫入门教程

    python3爬虫入门教程

    欢迎关注微信:非本科程序员

  • 相关阅读:
    vc++6.0如何调试
    Visual C++单文档混合分割视图
    使用VC6.0实现窗口的任意分割张中庆
    用MFC创建通用窗体分割框架
    vc++6.0编译环境介绍(1、2)
    浅谈SDI单文档多视切换方法
    单文档多视图Formview切换源代码(此网还有许多其它多视图切换的源代码)
    VC单文档实现多视图的方法
    Visual C++(VC++6.0)编译器常用选项设置
    PowerTip of the DayRemoving Empty Things
  • 原文地址:https://www.cnblogs.com/happymeng/p/10449015.html
Copyright © 2011-2022 走看看