Scrapy框架的应用———爬取糗事百科文件

项目主代码：

import scrapy
from  qiushibaike.items import QiushibaikeItem

class QiubaiSpider(scrapy.Spider):
    name = 'qiubai'
    # allowed_domains = ['www.baidu.com']

    #爬取数据的url
    start_urls = ['https://www.qiushibaike.com/text/']

    #基于终端命令，必须让parse方法返回一个可迭代类型的对象
    def parse(self, response):
        div_list=response.xpath('//div[@id="content-left"]/div')
        data_list=[]
        for div in div_list:
            #extract()可以将Selector对象存储的数据值获取
            author=div.xpath('./div/a[2]/h2/text()').extract_first()
            content=div.xpath('./a/div/span//text()').extract()
            content="".join(content)
            dic={
                'author':author,
                'content':content
            }
            data_list.append(dic)
        return  data_list
        # 基于终端命令，必须让parse方法返回一个可迭代类型的对象

    #基于管道的持久化存储
    def parse(self, response):
        div_list = response.xpath('//div[@id="content-left"]/div')
        for div in div_list:
            # extract()可以将Selector对象存储的数据值获取
            author = div.xpath('./div/a[2]/h2/text()').extract_first()
            content = div.xpath('./a/div/span//text()').extract()
            content = "".join(content)

            #设计到持久化存储的相关操作必须写在管道文件中
            #实例化一个item对象，将解析到的数据存储到该对象中去
            item=QiushibaikeItem()
            item['author']=author
            item['content']=content

            #将item对象交给管道
            yield  item

items类中代码：

author=scrapy.Field()
content=scrapy.Field()

pipelines类中代码

#将数据存储到txt文件中
class QiushibaikePipeline(object):

    fp=None
    #重写父类的方法
    def open_spider(self,spider):
        self.fp=open('./qiutu.txt','w',encoding='utf-8')
        print('开始爬虫')

    #该方法只能处理item类型的对象，爬虫文件每向管道提交一次item,则该方法就会调用一次
    def process_item(self, item, spider):
        #取出存在item中的数据
        author=item['author']
        content=item['content']
        self.fp.write(author+':'+content)
        return item
    def close_spider(self,spider):
        self.fp.close()
        print('爬虫结束')

#将数据存储到txt文件中
class CsvPipeLine(object):

    fp=None
    #重写父类的方法
    def open_spider(self,spider):
        self.fp=open('./qiutu.csv','w',encoding='utf-8')
        print('开始爬虫1')

    #该方法只能处理item类型的对象，爬虫文件每向管道提交一次item,则该方法就会调用一次
    def process_item(self, item, spider):
        #取出存在item中的数据
        author=item['author']
        content=item['content']
        self.fp.write(author+':'+content)
        return item
    def close_spider(self,spider):
        self.fp.close()
        print('爬虫结束1')

setting配置代码

#伪装请求头
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36'

# 不遵守协议
ROBOTSTXT_OBEY = False


#开放管道代码
ITEM_PIPELINES = {
   'qiushibaike.pipelines.QiushibaikePipeline': 300,
    'qiushibaike.pipelines.CsvPipeLine': 301,

}