zoukankan      html  css  js  c++  java
  • Python爬虫入门教程 24-100 微医挂号网医生数据抓取

    1. 微医挂号网医生数据写在前面

    今天要抓取的一个网站叫做微医网站,地址为 https://www.guahao.com ,我们将通过python3爬虫抓取这个网址,然后数据存储到CSV里面,为后面的一些分析类的教程做准备。本篇文章主要使用的库为pyppeteerpyquery

    首先找到 医生列表页

    https://www.guahao.com/expert/all/全国/all/不限/p5  
    

    这个页面显示有 75952 条数据 ,实际测试中,翻页到第38页,数据就加载不出来了,目测后台程序猿没有把数据返回,不过为了学习,我们忍了。

    在这里插入图片描述

    2. 微医挂号网医生数据页面URL

    https://www.guahao.com/expert/all/全国/all/不限/p1
    https://www.guahao.com/expert/all/全国/all/不限/p2
    ...
    https://www.guahao.com/expert/all/全国/all/不限/p38 
    

    数据总过38页,量不是很大,咱只需要随便选择一个库抓取就行,这篇博客,我找了一个冷门的库
    pyppeteer 在使用过程中,发现资料好少,很尴尬。而且官方的文档写的也不好,有兴趣的可以自行去看看。关于这个库的安装也在下面的网址中。

  • 相关阅读:
    回到顶部
    angularjs 复选框 单选框
    关于angularjs的ng-repeat指令
    JS字符串对象
    JS的控制语句与异常
    JS的运算符
    JS的引入方式和基础规范
    z-index及透明度opacity,利用overflow设置头像
    css的定位
    css的float属性及清除浮动
  • 原文地址:https://www.cnblogs.com/hzcya1995/p/13311573.html
Copyright © 2011-2022 走看看