学习进度15

Python之Scrapy框架的安装与学习

pip install scrapy 安装出现了一个问题：缺少Twisted，去https://www.lfd.uci.edu/~gohlke/pythonlibs/网站下载，然后本地 cmd pip XXX.whl。这之中我发现了个有趣的事情，用qq浏览器点下载页面会404，而谷歌浏览器不会（出现问题在网上查到的）。然后创建了一个项目：

 demo1是我创建的文件

spiders:里面是放爬虫文件的

items.py:定义爬虫程序的数据模型

middlewares.py:定义数据模型中的中间件

pipelines.py:管道文件,负责对爬虫返回数据的处理 主要为定义用于储存数据的方法

settings.py:爬虫程序设置,主要是一些优先级设置,优先级越高,值越小

scrapy.cfg:内容为scrapy的基础配置
我所学习的引自博客：https://blog.csdn.net/qq_41646358/article/details/81335359