爬虫学习之pdf读取和存储

在py3中如需进行pdf文件操作需要加载PDFMiner3K库文件，可通过pip方式或者可以下载源文件方式安装

python3 -m pip install pdfminer3k 
下载源文件方式:
1、先下载源文件 
2、通过python3 setup.py install

处理Pdf文件的思路：

PDF 读成字符串，然后用StringIO 转换成文件对象

实例：

from urllib.request import urlopen
from io import StringIO
from pdfminer.pdfinterp import PDFResourceManager, process_pdf
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams

def readPDF(pdfFile):
    rsrcmgr = PDFResourceManager()
    retstr = StringIO()
    laparams = LAParams()
    device = TextConverter(rsrcmgr, retstr, laparams=laparams)

    process_pdf(rsrcmgr, device, pdfFile)
    device.close()

    content = retstr.getvalue()
    retstr.close()
    return  content

pdfFile = urlopen("http://pythonscraping.com/pages/warandpeace/chapter1.pdf")
outputString = readPDF(pdfFile)
print(outputString)
pdfFile.close()

readPDF 函数最大的好处是，如果你的PDF 文件在电脑里，你就可以直接把urlopen 返回
的对象pdfFile 替换成普通的open() 文件对象：
pdfFile = open("../pages/warandpeace/chapter1.pdf", 'rb')
输出结果可能不是很完美，尤其是当PDF 里有图片、各种各样的文本格式，或者带有表格
和数据图的时候。但是，对大多数只包含纯文本内容的PDF 而言，其输出结果与纯文本格
式基本没什么区别。