爬虫之Scrapy框架

一 安装

1.windows：

　　1.先安装wheel 让pip支持本地安装 .whl 文件

　　2. https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 选择符合电脑上已安装python版本的电脑字长一致的twisted版本下载  命令 pip install  Twisted-18.9.0-cp36-cp36m-win_amd64.whl

　　3.pip3 install pywin32      scrapy需要借助操作系统的部分功能，pywin32来沟通

　　4.pip3 install scrapy     安装好在windows中的依赖模块后，再安装

2.Linux:

　　pip3 install scrapy

二 基本使用

1. 创建project
	scrapy startproject 项目名称
	
	项目名称
	   项目名称/
			- spiders				# 爬虫文件 
				- chouti.py 
				- cnblgos.py 
				....
			- items.py 				# 持久化
			- pipelines				# 持久化
			- middlewares.py		# 中间件
			- settings.py 			# 配置文件（爬虫）
	   scrapy.cfg					# 配置文件（部署）

2. 创建爬虫 
	cd 项目名称
	
	scrapy genspider chouti chouti.com 
	scrapy genspider cnblgos cnblgos.com 
	
3. 启动爬虫
	scrapy crawl chouti 
	scrapy crawl chouti --nolog  # 不打印日志

import sys,os,io
sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')

三 scrapy的爬虫流程图

- 创建项目 scrapy startproject 项目名
- 创建爬虫 scrapy genspider spider_name allow_domain
- 完善爬虫
  - start_url,response --> parse
  - 数据yield 通过传递给管道
  - 能够yield 的数据类型，dict，request，Item，None
- 管道
  - 开启管道
    - 开启管道，键:位置，值：距离引擎的远近，越小越近

class ChoutiSpider(scrapy.Spider):
    name = 'chouti'
    allowed_domains = ['chouti.com']
    start_urls = ['http://chouti.com/']

    def parse(self, response):
        # print(response,type(response)) # 对象
        # print(response.text)
        """
        from bs4 import BeautifulSoup
        soup = BeautifulSoup(response.text,'html.parser')
        content_list = soup.find('div',attrs={'id':'content-list'})
        """
        # 去子孙中找div并且id=content-list
        f = open('news.log', mode='a+')
        item_list = response.xpath('//div[@id="content-list"]/div[@class="item"]')
        for item in item_list:
            text = item.xpath('.//a/text()').extract_first()
            href = item.xpath('.//a/@href').extract_first()
            print(href,text.strip())
            f.write(href+'
')
        f.close()

        page_list = response.xpath('//div[@id="dig_lcpage"]//a/@href').extract()
        for page in page_list:
            from scrapy.http import Request
            page = "https://dig.chouti.com" + page
            # 如果下一页的解析步骤一样则可以重用，也可以再定义一个parse，通过meta参数值传递到下一个parse方法中
            yield Request(url=page,callback=self.parse) # https://dig.chouti.com/all/hot/recent/2 

四 scrapy使用详情

items，pipelines，meta参数的使用案例

import scrapy
from yangguang.items import YangguangItem

class YgSpider(scrapy.Spider):
    name = 'yg'
    allowed_domains = ['sun07691.com']
    # start_urls可以不满足allowed_domains
    start_urls = ['http://wz.sun0769.com/index.php/question/questionType?type=4&page=0']

    def parse(self, response):
        #分组
        tr_list = response.xpath("//div[@class='greyframe']/table[2]/tr/td/table/tr")
        for tr in tr_list:
            item = YangguangItem()
            item["title"] = tr.xpath("./td[2]/a[@class='news14']/@title").extract_first()
            item["href"] = tr.xpath("./td[2]/a[@class='news14']/@href").extract_first()
            item["publish_date"]=tr.xpath("./td[last()]/text()").extract_first()

            yield  scrapy.Request(
                item["href"],
                callback=self.parse_detail,
                meta = {"item":item}
            )
        #翻页
        next_url = response.xpath("//a[text()='>']/@href").extract_first()
        if next_url is not None:
            yield scrapy.Request(
                next_url,
                callback=self.parse
            )

    def parse_detail(self,response): #处理详情页
        item = response.meta["item"]
        item["content"] = response.xpath("//div[@class='c1 text14_2']//text()").extract()
        item["content_img"] = response.xpath("//div[@class='c1 text14_2']//img/@src").extract()
        item["content_img"] = ["http://wz.sun0769.com"+i for i in item["content_img"]]
        yield item

import scrapy

class YangguangItem(scrapy.Item):
    # define the fields for your item here like:
    title = scrapy.Field()
    href = scrapy.Field()
    publish_date = scrapy.Field()
    content_img = scrapy.Field()
    content = scrapy.Field()

BOT_NAME = 'yangguang'

SPIDER_MODULES = ['yangguang.spiders']
NEWSPIDER_MODULE = 'yangguang.spiders'

MONGO_HOST = "localhost"

USER_AGENT = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'

ROBOTSTXT_OBEY = False

ITEM_PIPELINES = {
   'yangguang.pipelines.YangguangPipeline': 300,
}

import re
from pymongo import MongoClient

class YangguangPipeline(object):
    def open_spider(self,spider): # This method is called when the spider is opened. 只会执行一次，适合做数据库连接
        # spider.hello = "world"  # 可以在parse方法中  print(self.hello,"*"*100)
        client = MongoClient()
        self.collection = client["test"]["test"]

    def process_item(self, item, spider):
        spider.settings.get("MONGO_HOST")
        item["content"] = self.process_content(item["content"])
        print(item)  # item是Scr1Item的对象，继承scrapy.Item，继承DictItem

        self.collection.insert(dict(item)) # insert参数需要为原生的dict类型
        return item

    def process_content(self,content):
        content = [re.sub(r"xa0|s","",i) for i in content]
        content = [i for i in content if len(i)>0] #去除列表中的空字符串
        return content

 

Scrapy深入之认识程序的debug信息

 scrapy深入之scrapy shell

 Scrapy shell是一个交互终端，我们可以在未启动spider的情况下尝试及调试代码，也可以用来测试XPath表达式

命令行：scrapy shell http://www.itcast.cn/channel/teacher.shtml

常用对象：
response.url：当前响应的url地址
response.request.url：当前响应对应的请求的url地址
response.headers：响应头
response.body：响应体，也就是html代码，默认是byte类型
response.requests.headers：当前响应的请求头

参考：

1.https://www.cnblogs.com/wupeiqi/articles/6229292.html

2.https://docs.scrapy.org/en/latest/