前言:本文介绍的是基于关键词搜索实现百度资讯的爬虫解决办法
第一步:关键词搜索
1. 我们要找到适合自己的关键词,注意关键词决定着我们能否搜索到优质的数据,所以找到足够多的关键词,优质的关键词,能让我们采集更多的数据。
2.搜索按照时间大小排序,在第一页解析出来 新闻标题,新闻来源,新闻发布时间,新闻简单描述,新闻url链接。
3.新闻相信信息解析:
例如下面的这边新闻,如何解析出来红色的部分信息呢?
策略一: 使用 newspaper,优点是能解析出来大部分的网页,缺点是速度慢,这个Python第三方库不是万能的,比如一些负责的网页是解析不出来信息的。
使用代码
from newspaper import Article
url = 'http://www.npc.gov.cn/npc/zhibo/zzzb30/2018-10/26/content_2064215.htm'
a = Article(url, language='zh') # Chinese
a.download()
a.parse()
print "11111",a.text
print "22222",a.title
结果截图:
策略二: 自己写解析规则;
新闻网页都有什么解析规则呢? 比如都有 开始都有来源,时间等,结束有 责任编辑等词语,自己研究出来一个解析规则