Scrapy之twisted模块

scrapy框架(内部去下载内容就是使用twisted异步非租塞模块)

　　1.依赖twisted
　　　　内部基于事件循环的机制实现爬虫的并发
　　　　非租塞：不等待 发起连接请求，不等待连接再去连接下一个，发送一个之后马上发送下一个
　　　　异步：回调 体现就是通知 只要发送成功回来就自动通知
　　　　事件循环：循环socket任务，检测socket状态 是否连接成功 是否返回结果
　　　　白话：单线程同时可以向多个目标发起http请求
　　　　官方：基于事件循环的异步非租塞模块

from twisted.web.client import getPage, defer
from twisted.internet import reactor


# 第一部分 代理开始接收任务
def callback(contents):
    print(contents)

deferred_list = [] # 任务列表
url_list = ['http://www.bing.com', 'https://segmentfault.com/', 'https://stackoverflow.com/']
for url in url_list:
    deferred = getPage(bytes(url, encoding='utf8'))  # 获取到需求
    deferred.addCallback(callback)  # 通知 回调直接执行callback函数
    deferred_list.append(deferred)

# 第二部分 代理执行完成任务后，停止
dlist = defer.DeferredList(deferred_list)
def all_done(arg):
    reactor.stop()
dlist.addBoth(all_done) # 接收三任务不管任务是否执行成功
# 开始处理任务
reactor.run()

　　2.编写parse

def parse(self,response):
    1.响应
    response.text
    response.encoding
    response.body
    response.request  # 当前响应是由哪个请求发起：请求中封装(要访问的url,下载完成之后执行哪个函数)
    2.解析
    response.xpath('//div[@href="x1"/a]').extract_first()  # 第一个
    response.xpath('//div[@href="x1"/a]').extract()        # 所有
    response.xpath('//div[@href="x1"/a/text()]').extract()  
    tag_list = response.xpath('//div[@href="x1"/a]').extract()       
    for tag in tag_list:
        tag.xpath('.//') 当前标签子子孙孙找
    3.再次发请求(但还没发，只是封装)
        yield Request(url=page, callback=self.parse) # 只是封装，还没发起请求 下载器才执行

 区别：

1.twisted与requests的区别？
    1.requests是一个Python实现的可以伪造浏览器发送Http请求的模块
    - 封装socket发送请求

2.twisted是基于事件循环的异步非租塞框架
    - 封装socket发送请求
    - 单线程完成并发操作 不等待直接去发，不管是否成功，只管发
    - 非租塞 不等待
    - 异步 回调
    - 事件循环：一直循环去检查状态