scrapy初步使用

 使用scrapy 爬取数据

Scrapy is written in pure Python and depends on a few key Python packages (among others):

lxml, an efficient XML and HTML parser

parsel, an HTML/XML data extraction library written on top of lxml,

w3lib, a multi-purpose helper for dealing with URLs and web page encodings

twisted, an asynchronous networking framework

cryptography and pyOpenSSL, to deal with various network-level security needs


scrapy startproject tutorial  #建立爬虫项目


**************************************************************

#-*- coding:utf-8 -*-

import scrapy

class First(scrapy.Spider):   #需要继承scrapy.Spider类
    name = 'firstScrapy'      # 定义蜘蛛名

    start_urls = [
            'http://lab.scrapyd.cn/page/1/',
            'http://lab.scrapyd.cn/page/2/',
    ]
    def parse(self,response):
        '''
         start_requests已经爬取到页面，那如何提取我们想要的内容呢？那就可以在这个方法里面定义。
         这里的话，并木有定义，只是简单的把页面做了一个保存，并没有涉及提取我们想要的数据，后面会慢慢说到
         也就是用xpath、正则、或是css进行相应提取，这个例子就是让你看看scrapy运行的流程：
         1、定义链接；
         2、通过链接爬取（下载）页面；
         3、定义规则，然后提取数据；
         就是这么个流程，似不似很简单呀？
         '''
        page = response.url.split("/")[-2]     #根据上面的链接提取分页,如：/page/1/，提取到的就是：1
        filename = 'first-%s.html' % page    #拼接文件名，如果是第一页，最终文件名便是：mingyan-1.html
        with open(filename, 'wb') as f:        #python文件操作，不多说了；
            f.write(response.body)             #刚才下载的页面去哪里了？response.body就代表了刚才下载的页面！
        self.log('保存文件: %s' % filename)      # 打个日志


E:sourceScrapy	utorial	utorialspiders>scrapy crawl firstScrapy   #执行

***************************************************************


命令行：
scrapy shell http://lab.scrapyd.cn  #获取response 对象

response.css('title')    #CSS 选择器列表
response.css('title').extract()    #获取列表数据
response.css('title').extract()[0]

response.css('title').extract_first()   #获取第一个元素
response.css('title::text').extract_first()   #获取元素文本

**************************************************************************************
#-*- coding:utf-8 -*-

import scrapy

class GetMessage(scrapy.Spider):
    name = 'getmessage'

    start_urls = [
        'http://lab.scrapyd.cn/',
    ]

    def parse(self, response, **kwargs):

        pageOne = response.css('div.quote')
        for lines in pageOne:
            text = lines.css('.text::text').extract_first() # 提取名言
            author = lines.css('.author::text').extract_first() # 提取作者
            tags = lines.css('.tags .tag::text').extract() # 提取标签
            tag = ','.join(tags)  # 数组转换为字符串

            fileName = '%s-语录.txt' % author  # 爬取的内容存入文件，文件名为：作者-语录.txt
            pathFile = './data/' + fileName
            with open(pathFile,'a+',encoding='utf-8') as f: # 追加写入文件
                f.write(text + '
')
                f.write('标签:' + tag + '
')


***********************************************************************************************

#多页爬取

#-*- coding:utf-8 -*-

import scrapy

class GetMessage(scrapy.Spider):
    name = 'getmessage'

    start_urls = [
        'http://lab.scrapyd.cn/',
    ]

    def parse(self, response, **kwargs):

        pageOne = response.css('div.quote')
        for lines in pageOne:
            text = lines.css('.text::text').extract_first() # 提取名言
            author = lines.css('.author::text').extract_first() # 提取作者
            tags = lines.css('.tags .tag::text').extract() # 提取标签
            tag = ','.join(tags)  # 数组转换为字符串

            fileName = '%s-语录.txt' % author  # 爬取的内容存入文件，文件名为：作者-语录.txt
            pathFile = './data/' + fileName
            with open(pathFile,'a+',encoding='utf-8') as f: # 追加写入文件
                f.write(text + '
')
                f.write('标签:' + tag + '
')

        next_page = response.css('li.next a::attr(href)').get()   #获取跳转下一页的标签
        if next_page is not None:                                 #如果不为空 执行
            next_page = response.urljoin(next_page)               #如果是相对路径转换为绝对路径
            yield scrapy.Request(next_page, callback=self.parse)   #给 scrapy.Resquest 传递参数，页面和回调的函数
            #yield

来自:http://www.scrapyd.cn/doc/181.html