Scrapy爬虫库的使用技巧

要使用scrapy库，必须先安装开发依赖，最好先使用pip安装，如果安装twisted提示缺少vc或者框架，可以下载至本地后安装。

第三方扩展库地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/  下载至本地后 运行 pip install 库文件.wel

建议先安装pyw32,twisted.lxml,这些安装完成后在安装scrapy (pip install scrapy) 有些时候需要先升级pip安装工具

用pycharm命令行 创建一个scrapy项目： scrapy startproject 项目名

我们就能见到一个scrapy项目，在settings配置文件里修改项目的配置信息。

首先启用被注释掉的头文件：

DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Trident/7.0; rv 11.0) like Gecko',
}

添加浏览器的头信息user-agent

启用管道配置文件：

ITEM_PIPELINES = {
   'czbk.pipelines.CzbkPipeline': 300,
}

命令创建spider文件：scrapy genspider czSpider(爬虫文件名) itcast.com（项目站点作用域）

此时在项目文件夹spider下就创建出czSpider.py文件 用于编写爬虫文件。

czSpider.p 中的代码示例：

# -*- coding: utf-8 -*-
import scrapy
from czbk.items import CzbkItem

class CzspiderSpider(scrapy.Spider):
    #爬虫名
    name = 'czSpider'
    #作用域
    allowed_domains = ['www.itcast.cn']
    #起始地址
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml#ac',
                  'http://www.itcast.cn/channel/teacher.shtml#acloud',
                  'http://www.itcast.cn/channel/teacher.shtml#ago',
                  'http://www.itcast.cn/channel/teacher.shtml#ajavaee',
                  'http://www.itcast.cn/channel/teacher.shtml#aLinux',
                  'http://www.itcast.cn/channel/teacher.shtml#amovies',
                  'http://www.itcast.cn/channel/teacher.shtml#anetmarket',
                  'http://www.itcast.cn/channel/teacher.shtml#aphp',
                  'http://www.itcast.cn/channel/teacher.shtml#apm',
                  'http://www.itcast.cn/channel/teacher.shtml#apython',
                  'http://www.itcast.cn/channel/teacher.shtml#arobot',
                  'http://www.itcast.cn/channel/teacher.shtml#atest',
                  'http://www.itcast.cn/channel/teacher.shtml#aui',
                  'http://www.itcast.cn/channel/teacher.shtml#aweb'
                  ]


    def parse(self, response):
        item=CzbkItem()    #实例化一个item对象
        #获取所有相关数据 并存入列表
        teacher_list=response.xpath('//div[@class="li_txt"]')
        for each in teacher_list:
            #遍历列表的每一个元素对象 取出各自的数据
            name = each.xpath('./h3/text()').extract()
            title = each.xpath('./h4/text()').extract()
            about = each.xpath('./p/text()').extract()

            item['name'] = name[0] #取列表里的数据
            item['title'] = title[0]
            item['about'] = about[0]

            #阻塞式返回参数
            yield item

值得注意的是在pycharm下引入items文件时由于相对路径已经在项目下，会造成编辑器无法正常识别自动导入，手动导入会报警告，正常，忽略掉。

items文件下用于存储对象的数据字段：

import scrapy


class CzbkItem(scrapy.Item):
    # define the fields for your item here like:

    #姓名
    name = scrapy.Field()
    #职称
    title=scrapy.Field()
    #简介
    about=scrapy.Field()

爬虫在yield等待时的数据经过调度器交给piplines去处理：pipelines下代码：

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: https://doc.scrapy.org/en/latest/topics/item-pipeline.html
import json

class CzbkPipeline(object):
    def __init__(self):
        #创建一个初始化方法 创建一个文件
        self.filename=open("cz_ter.json","wb")

    def process_item(self, item, spider):
        jsontext=json.dumps(dict(item),ensure_ascii=False)+ "
"
        self.filename.write(jsontext.encode("utf-8"))
        return item


    def close_spider(self,spider):
        self.filename.close()

默认会有process_item的方法，可以添加自定义初始化方法和关闭爬虫的方法。

注意：python3和python2的在文件操作时的区别：python3下必须采用rb wb模式，否则会报出类型错误