本文介绍下pdf页面的爬取,需要借助pdfminer模块
demo一般流程:
1)设置url
url = 'http://www.------' + '.PDF'
2)requests模块获取url
import requests
r = requests.get(inner_url)
3)写入.pdf文件
myFile = open("PDF/" + i[u'associateAnnouncement'] + '.pdf', "wb") myFile.write( r.content ) myFile.close()
4)使用pdfminer模块(API可以查看本人的另一篇 http://www.cnblogs.com/rongyux/p/5445723.html),cmd命令行输入,转化pdf文件为html,为了方便解析
pdf2txt.py -o output.html samples/naacl06-shinyama.pdf
5)BeautifulSoup解析html
from bs4 import BeautifulSoup html = open('PDF/1202268749.html').read()
未完待续,先睡觉,pdfminer把pdf页面解析成html页面,然后beautifulsoap解析html页面即可。