scripy项目创建

一:安装框架
升级匹配版本:pip install --upgrade pip
通过pip安装Scrapy框架 pip install scrapy

二:爬虫步骤:
①新建项目(在命令行先进入想要放置的项目文件的目录)
scrapy startproject 项目名
例:scrapy startproject douban

②创建一个自定义名称的爬虫
1>如果是在shell命令中进行操作
首先就进入项目文件,然后输入以下命令:scrapy genspider 爬虫名 爬取域范围(爬虫名不能与项目名相同)
例:scrapy genspider douban_spider movie.douban.com

2>如果是在pycharm中的terminal中进行操作
首先要进入项目中的spiders包下,然后输入以下命令:scrapy genspider 爬虫名 爬取域范围(爬虫名不能与项目名相同)
例:scrapy genspider douban_spider movie.douban.com

3>setting设置

　1.将ROBOTSTXT_OBEY = True 改为 False

　2.打开管道:

　　ITEM_PIPELINES = {
　　'douban.pipelines.DoubanPipeline': 300,
　　}

　3.打开该设置并修改:

　　DEFAULT_REQUEST_HEADERS = {

　　'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
　　'Accept-Language': 'en',
　　'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36"
　　}

③明确目标(编写items.py):明确你想要抓取的目标

④制作爬虫(spider/xxspider.py):制作爬虫开始爬取页面

⑤存储内容(pipelines.py):设计管道存储爬取内容

⑥启动爬虫项目
scrapy crawl 爬虫名
例:scrapy crawl douban_spider