zoukankan      html  css  js  c++  java
  • 一篇文章教会你使用Python定时抓取微博评论

    【Part1——理论篇】

    试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口,如下图所示。

    但是很不幸,该接口频率受限,抓不了几次就被禁了,还没有开始起飞,就凉凉了。

    接下来小编又选择微博的移动端网站,先登录,然后找到我们想要抓取评论的微博,打开浏览器自带流量分析工具,一直下拉评论,找到评论数据接口,如下图所示。

    之后点击“参数”选项卡,可以看到参数为下图所示的内容:

    可以看到总共有4个参数,其中第1、2个参数为该条微博的id,就像人的身份证号一样,这个相当于该条微博的“身份证号”,max_id是变换页码的参数,每次都要变化,下次的max_id参数值在本次请求的返回数据中。

    【Part2——实战篇】

    有了上文的基础之后,下面我们开始撸代码,使用Python进行实现。

    1、首先区分url,第一次不需要max_id,第二次需要用第一次返回的max_id。

    2、请求的时候需要带上cookie数据,微博cookie的有效期比较长,足够抓一条微博的评论数据了,cookie数据可以从浏览器分析工具中找到。

    3、然后将返回数据转换成json格式,取出评论内容、评论者昵称和评论时间等数据,输出结果如下图所示。

    4、为了保存评论内容,我们要将评论中的表情去掉,使用正则表达式进行处理,如下图所示。

    5、之后接着把内容保存到txt文件中,使用简单的open函数进行实现,如下图所示。

    6、重点来了,通过此接口最多只能返回16页的数据(每页20条),网上也有说返回50页的,但是接口不同、返回的数据条数也不同,所以我加了个for循环,一步到位,遍历还是很给力的,如下图所示。

    7、这里把函数命名为job。为了能够一直取出最新的数据,我们可以用schedule给程序加个定时功能,每隔10分钟或者半个小时抓1次,如下图所示。

    8、对获取到的数据,做去重处理,如下图所示。如果评论已经在里边的话,就直接pass掉,如果没有的话,继续追加即可。

    这项工作到此就基本完成了。

    【Part3——总结篇】

    这种方法虽然抓不全数据,但在这种微博的限制条件下,也是一种比较有效的方法。

    最后如果您需要本文代码的话,请在后台回复“微博”二字,觉得不错,记得给个star噢~

    看完本文有收获?请转发分享给更多的人

    IT共享之家

    入群请在微信后台回复【入群】


    想学习更多Python网络爬虫与数据挖掘知识,可前往专业网站:http://pdcfighting.com/

  • 相关阅读:
    产品交付物
    Java对redis的基本操作
    SourceTree使用方法
    分享几套bootstrap后台模板【TP5版】
    ThinkPHP5在PHP7以上使用QueryList4, ThinkCMF在PHP5中使用QueryList3教程
    delphi 控件背景透明代码
    delphi 程序嵌入桌面效果的实现
    delphi 半透明窗体类
    delphi 一个关于xml文件导入数据库的问题
    Delphi 自带了 Base64 编解码的单元
  • 原文地址:https://www.cnblogs.com/dcpeng/p/13150829.html
Copyright © 2011-2022 走看看