https://www.cnblogs.com/c-x-a/p/9889623.html
创建scrapy工程
1、scrapy startproject xxx xxx就是你的项目名，这里我们给我们的项目起名qiushibaike。
然后我们会发现了多了一个文件名为qiushibaike的文件夹
scrapy startproject xxx
2、然后我们通过命令创建一个事例工程
cd qiushibaike
3、然后用下面scrapy的第二个命令genspider
使用方法 scrapy genspider spider_name domain
spider_name就是爬虫的名字，每一个爬虫有一个名字这个名字是唯一的，后面运行的时候也是通过这个名字来运行的，下面的qsbk就是我们的爬虫名字，domain指定爬虫的域也就是爬虫的范围。查找网页我们发现域名为qiushibaike.com
scrapy genspider qsbk qiushibaike.com
开始编写spider文件
用pycharm把我们的爬虫工程加载进来。
修改settings.py文件
无视robots协议，将ROBOTSTXT_OBEY = True 改为ROBOTSTXT_OBEY = False
修改spider.py
看看我们访问的网页源码对不对。
把qsbk.py 进行修改
# -*- coding: utf-8 -*- import scrapy class QsbkSpider(scrapy.Spider): name = 'qsbk' allowed_domains = ['qiushibaike.com'] start_urls = ['http://qiushibaike.com/']#种子url，列表类型表示支持多个 def parse(self, response): print(response.text)#输出源码
创建入口文件运行
在项目的根目录下创建一个run.py 来运行我们的工程
run.py的内容如下
# -*- coding: utf-8 -*- # @Time : 2018/10/31 11:54 PM # @Author : cxa # @File : run.py.py # @Software: PyCharm
from scrapy.cmdline import execute execute(['scrapy','crawl','qsbk'])
运行以后找到了error关键字，可以得知爬虫出错了
修改中间件加入headers信息
首先修改middlewares.py
class UserAgentMiddleware(object): def __init__(self, user_agent_list): self.user_agent = user_agent_list @classmethod def from_crawler(cls, crawler, *args, **kwargs): # 获取配置文件中的MY_USER_AGENT字段 middleware = cls(crawler.settings.get('MY_USER_AGENT')) return middleware def process_request(self, request, spider): # 随机选择一个user-agent request.headers['user-agent'] = random.choice(self.user_agent)
然后在settings启用我们的中间件和设定MY_USER_AGENT的值：
MY_USER_AGENT = ["Mozilla/5.0+(Windows+NT+6.2;+WOW64)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/45.0.2454.101+Safari/537.36", "Mozilla/5.0+(Windows+NT+5.1)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/28.0.1500.95+Safari/537.36+SE+2.X+MetaSr+1.0", "Mozilla/5.0+(Windows+NT+6.1;+WOW64)+AppleWebKit/537.36+(KHTML,+like+Gecko)+Chrome/50.0.2657.3+Safari/537.36"] DOWNLOADER_MIDDLEWARES = { 'qiushibaike.middlewares.UserAgentMiddleware': 543, }
再次运行,run.py文件，成功获取了源码
解析网页中所需要的内容
因为这10页的结构是类似的我们就拿第一页为例：
在这里我们使用的解析方法为xpath，通过xpath可以解析出我们需要的内容，
打开谷歌浏览器的开发者工具，首先通过Elements模块获取当前页所有内容的大概区域我们可以写这样的一个xpath。
"//div[@id='content-left']"
然后我们发现一页25个内容，然后再去在每个内容里进行查找当前的标题和内容。
在qsbk.py文件的parse方法里加入这段内容
content_left_node=response.xpath("//div[@id='content-left']") #确定发布区的节点区域 div_node_list=content_left_node.xpath("./div") for div_node in div_node_list: title_node=div_node.xpath(".//div[@class='author clearfix']/a[contains(@onclick,'web-list-author-text')]/h2/text()") content_node=div_node.xpath(".//div[@class='content']/span[1]") content=content_node.xpath('string(.)') print("发布者",title_node.extract_first().strip()) print("发布内容",content.extract_first().strip())
修改scrapy的日志显示等级方便查看
修改settings.py文件通过修改log的等级，只显示指定类型的log，打开settings.py我们加上下面的一句来设定log的等级为error
也就是只有错误的时候才显示scrapy的log信息。
LOG_LEVEL = "ERROR"
保存结果到mongodb
mongodb是一个key-value型的数据库，使用起来简单，数据结构是键值对类型，在存储过程中如果表不存在就会创建一个新的表。
下面我们开始来存储我们的数据。
构造数据
因为我们需要接收一个键值对类型的数据，一般用dict，所以我们将代码改成如下形式。qsbk.py文件新增内容：
item = {} item['name'] = name item['info'] = info yield item
上面我们构造出了我们需要存储的数据，然后通过yield传递到存储部分，
下一步我们就要开始创建mongo连接的部分了
创建mongo连接文件
把pipelines.py 文件改为
import pymongo from scrapy.conf import settings class MongoPipeline(object): def __init__(self): # 链接数据库 self.client = pymongo.MongoClient(host=settings['MONGO_HOST'], port=settings['MONGO_PORT']) if settings.get('MINGO_USER'): self.client.admin.authenticate(settings['MINGO_USER'], settings['MONGO_PSW']) self.db = self.client[settings['MONGO_DB']] # 获得数据库 self.coll = self.db[settings['MONGO_COLL']] # 获得collection def process_item(self, item, spider): postItem = dict(item) # 把item转化成字典形式 self.coll.insert(postItem) # 向数据库插入一条记录 return item
然后修改settings.py,首先添加mongo的几个连接参数
MONGO_HOST = "127.0.0.1" # 主机IP MONGO_PORT = 27017 # 端口号 MONGO_DB = "spider_data" # 库名 MONGO_COLL = "qsbk" # collection名
然后打开pipe通道
ITEM_PIPELINES = { 'qiushibaike.pipelines.MongoPipeline': 300, }
运行查看数据
代码可以在git上查找：
https://github.com/muzico425/qsbk.git