---恢复内容开始---
Scrapy爬虫介绍
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。
其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。Scrapy用途广泛,可以用于数据挖掘、监测和自动化测试。
Scrapy功能
----引用twisted模块异步下载页面
-----HTML解析成对象
-----代理
----延迟下载
----URL字段去重
----指定深度、广度
...........................
Scrapy架构及工作流程
Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下
Scrapy主要包括了以下组件:
引擎(Scrapy)
用来处理整个系统的数据流处理, 触发事务(框架核心)
调度器(Scheduler)
用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL(抓取网页的网址或者说是链接)的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
下载器(Downloader)
用于下载网页内容, 并将网页内容返回给蜘蛛(Scrapy下载器是建立在twisted这个高效的异步模型上的)
爬虫(Spiders)
爬虫是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
项目管道(Pipeline)
负责处理爬虫从网页中抽取的实体,主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被爬虫解析后,将被发送到项目管道,并经过几个特定的次序处理数据。
下载器中间件(Downloader Middlewares)
位于Scrapy引擎和下载器之间的框架,主要是处理Scrapy引擎与下载器之间的请求及响应。
爬虫中间件(Spider Middlewares)
介于Scrapy引擎和爬虫之间的框架,主要工作是处理蜘蛛的响应输入和请求输出。
调度中间件(Scheduler Middewares)
介于Scrapy引擎和调度之间的中间件,从Scrapy引擎发送到调度的请求和响应。
Scrapy运行流程大概如下:
1.程序员在Spiders里定义爬虫的起始URL。
2.ScrapyEngine把Spider中的起始URL,推送到Scheduler。
3.Scheduler调度URL通过Downloader去互联网下载HTML内容。
4.Downloader下载HTML内容并返回给Spiders(回调函数)。
5.Spiders调用 Item Pipeline把爬到的内容保存的数据库/文件,或者继续循环流程1-5。
Scrapy安装&使用
安装
1.Linux
pip install scrapy
2.Windows
2.1:下载twisted
Twisted‑18.7.0‑cp36‑cp36m‑win_amd64.whl:cp36是cpython解释器的版本,amd64Windows的位数;
2.2:安装scrapy
pip install scrapy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
基本使用
scrapy startproject projectname #创建1个Scrapy项目
cd projectname
scrapy genspider [
-
t template] <name> <domain> #创建爬虫应用
s
crapy gensipider
-
t basic le le.com #创建虫子1
scrapy gensipider
-
t xmlfeed bestseller.com.cn #创建虫子2
scrapy
list #
展示爬虫应用列表
scrapy crawl 爬虫应用名 --nolog #
运行单独爬虫应用 --nolog不打印日志
修改setings.py
ROBOTSTXT_OBEY = False:是否遵守爬虫协议
建议读者一定要遵循爬虫协议,如果
ROBOTSTXT_OBEY = True,不能获取到respose一点要和对方打电话谈谈!
# -*- coding: utf-8 -*- import scrapy # import sys,os,io # sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #解决编码错误 class BaiduSpider(scrapy.Spider): name = 'baidu' allowed_domains = ['baidu.com'] #起始URL start_urls = ['http://baidu.com/'] #限制域名 def parse(self, response): #回调函数 print(response.text)
选择器
![](https://images.cnblogs.com/OutliningIndicators/ExpandedBlockStart.gif)
# -*- coding: utf-8 -*- import scrapy from scrapy.selector import Selector, HtmlXPathSelector from scrapy.http import HtmlResponse # import sys,os,io # sys.stdout=io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #解决编码错误 class BaiduSpider(scrapy.Spider): name = 'baidu' allowed_domains = ['baidu.com'] #起始URL start_urls = ['http://baidu.com/'] #限制域名 def parse(self, response): #回调函数 html = """<!DOCTYPE html> <html> <head lang="en"> <meta charset="UTF-8"> <title></title> </head> <body> <ul> <li class="item-"><a id='i1' href="link.html">first item</a></li> <li class="item-0"><a id='i2' href="llink.html">first item</a></li> <li class="item-1"><a href="llink2.html">second item<span>vv</span></a></li> </ul> <div><a href="llink2.html">second item</a></div> </body> </html> """ response = HtmlResponse(url='http://example.com', body=html, encoding='utf-8') # hxs=Selector(response=response).xpath('//a') #查询所有a标签 # hxs = Selector(response=response).xpath('//a[@id]') #查询包含id属性的a标签 #hxs = Selector(response=response).xpath('//a[@id="i1"]') #查询id=i1的a标签 #hxs = Selector(response=response).xpath('//a[@href="link.html"][@id="i1"]') #查询href="link.html" &id="i1"的a标签 # hxs = Selector(response=response).xpath('//a[contains(@href, "link")]') #查询href="link.html"包含link关键字的a标签 #hxs = Selector(response=response).xpath('//a[starts-with(@href, "link")]') # 查询href="link.html"以link关键字开头的a标签 #使用正则匹配 #hxs = Selector(response=response).xpath('//a[re:test(@id, "id+")]') #查询id为 i数字 的a标签 #hxs = Selector(response=response).xpath('//a[re:test(@id, "id+")]/text()').extract() #/text()获取文本内容 # hxs = Selector(response=response).xpath('//a[re:test(@id, "id+")]/@href').extract() #/@href获取href属性 # hxs = Selector(response=response).xpath('/html/body/ul/li/a/@href').extract() #python数据类型 # hxs = Selector(response=response).xpath('//body/ul/li/a/@href').extract_first() #获取匹配到的第一个a标签 ul_list = Selector(response=response).xpath('//body/ul/li') #支持for循环 for item in ul_list: v = item.xpath('./a/span')#相对当前标签下寻找子代 ./,*/,a #注意//遍历所有后代, /遍历所有子代 # 或 # v = item.xpath('a/span') # 或 # v = item.xpath('*/a/span') print(v)
![](https://images.cnblogs.com/OutliningIndicators/ExpandedBlockStart.gif)
# -*- coding: utf-8 -*- import scrapy,urllib.parse from scrapy.http import Request from scrapy.selector import Selector from scrapy.http.cookies import CookieJar class ChoutiSpider(scrapy.Spider): name = 'chouti' allowed_domains = ['chouti.com'] start_urls = ['http://chouti.com/'] cookie_dict = {} ''' 1. 发送一个GET请求,抽屉 获取cookie 2. 用户密码POST登录:携带上一次cookie 返回值:9999 3. 为为所欲为,携带cookie ''' def start_requests(self):#子类重写父类的start_requests,指定其实url for url in self.start_urls: yield Request(url,dont_filter=True,callback=self.index) def index(self,response):#首页 cookie_jar=CookieJar() #提取本次请求的cokie,保存到cookie_jar对象 cookie_jar.extract_cookies(response, response.request)#去响应中获取cookie #把cookie保存到字典 for k, v in cookie_jar._cookies.items(): for i, j in v.items(): for m, n in j.items(): self.cookie_dict[m] = n.value post_dict={ "phone": '8613220198866', "password": "woshiniyeye", "oneMonth": 1, } yield Request( #发送post请求,进行登录 url='https://dig.chouti.com/login', method='POST', cookies= self.cookie_dict, headers = {'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8'}, body=urllib.parse.urlencode(post_dict), callback=self.login ) def login(self,response) : yield Request(url='https://dig.chouti.com/',cookies=self.cookie_dict,callback=self.get_news) def get_news(self,response): hxs=Selector(response) link_id_list=hxs.xpath('//div[@class="part2"]/@share-linkid').extract() #获取新闻ID for link in link_id_list: base_url = "http://dig.chouti.com/link/vote?linksId=%s" % (link) yield Request( url=base_url, method='POST', cookies=self.cookie_dict, callback=self.end_parse ) def end_parse(self,response): print(response.text)
---恢复内容结束---