pdf文件爬取
首先分析此论文网站的网站结构
我选取的是2018年的ECCV论文
首先进入后
是所有的一个论文总览
然后为了实现一个自动爬取
需要首先截取到他的一个链接
查看后他的一个论文的所有链接都是包含在一个dl中的
然后dl中有好多的dd标签和dt标签
其中dt标签中是有html表示的但是是没有论文内容的
所以需要下载pdf文件
所以寻找pdf文件链接
其中pdf链接是在第二个dd下的
其中第一个dd标签和第二个dd标签是有区别的
其中第一个有一个form标签然后第二个是没有的直接一个a标签
所以直接用Xpath爬取
语句为//dl/dd/a[1]/@href
选取第一个a标签
然后直接爬取
这是链接的爬取
然后标题是在dt标签
也是直接爬取他的text内容即可
html = etree.HTML(html)
indexs = html.xpath('//dl/dd/a[1]/@href')
base_url = 'https://openaccess.thecvf.com/'
titles = html.xpath('//dl/dt/a/text()')