Scrapy

安装

$ pip install Scrapy

创建项目

$ scrapy startproject ExampleProgram

创建项目的爬虫地址

$ scrapy genspider example www.baidu.com

创建基于指定模板的项目

$ scrapy genspider -t crawl docs docs.com