什么是scrapy
- 爬虫中封装好的一个明星框架
- 功能：高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式
scrapy框架的基本使用
环境的安装：
mac or linux :pip insatall scrapy
window:
- pip install wheel
- 下载twisted，下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- 安装twisted：pip install Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl
- pip install pywin32
- pip install scrapy
测试：在终端里录入scrapy指令，没有报错即表示安装成功！
什么是scrapy
- 爬虫中封装好的一个明星框架
- 功能：高性能的持久化存储，异步的数据下载，高性能的数据解析，分布式
scrapy框架的基本使用
环境的安装：
mac or linux :pip insatall scrapy
window:
- pip install wheel
- 下载twisted，下载地址为http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
- 安装twisted：pip install Twisted‑17.1.0‑cp36‑cp36m‑win_amd64.whl
- pip install pywin32
- pip install scrapy
测试：在终端里录入scrapy指令，没有报错即表示安装成功！
创建一个工程：scrapy startproject xxxPro
cd xxxPro
在spiders子目录中创建一个爬虫文件
scrapy genspider spiderName www.xxx.com
执行工程：scrapy crawl spiderName