zoukankan      html  css  js  c++  java
  • python爬虫---实现项目(二) 分析Ajax请求抓取数据

    这次我们来继续深入爬虫数据,有些网页通过请求的html代码不能直接拿到数据,我们所需的数据是通过ajax渲染到页面上去的,这次我们来看看如何分析ajax

    我们这次所使用的网络库还是上一节的Requests,结果用到mongodb来存储(需要提前安装pymongo库),开启多线程爬。

     分析:有很多网页打开以后,我们得到html源码并不能得到我们想要的数据,这时网站很有可能是通过ajax来加载的数据。

    我们打开调试模式F12,点击NetWork,我们来分析我所要的数据藏在哪里

    我们可以看到我们所需要的数据是通过ajax加载出来的。

    项目一:分析Ajax来抓取今日头条街拍美图

    代码地址:https://gitee.com/dwyui/toutiao_jiepai.git

    简单看一下我们的运行结果:

  • 相关阅读:
    C语言基础
    R安装包
    随笔
    计算机组成原理(三)--存储器的层次结构
    计算机组成原理(一)
    查找
    二叉树
    Mesos
    第三章 线性表
    第四章 栈与队列
  • 原文地址:https://www.cnblogs.com/cxiaocai/p/10958210.html
Copyright © 2011-2022 走看看