招聘网站爬虫模板
- 项目的创建
- 项目的设置
- 中间件的理解与使用
- selenium的基本使用
爬虫项目的创建：
- scrapy startproject spiderName
- cd spiderName
- scrapy genspider name www.xxx.com
项目的设置：
settings的基础设置：
-
USER_AGENT='Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36' -
ROBOTSTXT_OBEY = False #关闭协议 LOG_LEVEL = 'ERROR' #日志输出最低等级 -
DOWNLOADER_MIDDLEWARES = { #开启下载器中间件 # 'TZemployment.middlewares.TzemploymentDownloaderMiddleware': 543, 'TZemployment.middlewares.自定义中间件名字': 543, } -
ITEM_PIPELINES = { #开启item 'TZemployment.pipelines.TzemploymentPipeline': 300, }
中间件的理解与使用：
虽然中间件网上的示意图都烂大街了，我还是想贴一下；
中间件分为下载器中间件与爬虫中间件，我们常说的中间件为下载器中间件；
定义（官方解释）：
下载器中间件是位于引擎和下载器之间的特定挂钩，它们在从引擎传递到下载器时处理请求，以及从下载器传递到引擎的响应。
如果需要执行以下操作之一，请使用Downloader中间件：
- 在将请求发送到下载器之前处理请求（即，在Scrapy将请求发送到网站之前）；
- 在将接收到的响应传递给蜘蛛之前，先对其进行更改；
- 发送新的请求，而不是将收到的响应传递给蜘蛛；
- 将响应传递给蜘蛛，而无需获取网页；
- 默默地丢弃一些请求。
说人话就是：所有的请求与响应都会经过它，我们可以截取并修改成我们需要的形式或功能；
下载器中间件的好处：
- 可以集成Selenium、重试和处理请求异常等
- 我们就是用到了Selenium在中间件中对接scrapy；
selenium在中间件中的使用：
selenium的基本语法：
推荐该网站：http://www.testclass.net/selenium_python
通过selenium中的page_source获取网页源码，发送至spider下的parse进行xpath解析。
# -*- coding: utf-8 -*-
from scrapy import signals
from scrapy.http import HtmlResponse
import time
#设置selenium的中间件
class SelemiumSpiderMiddleware(object):
#对发送的
def process_request(self,request,spider):
#通过spider调用spider下的driver属性
spider.driver.get(request.url)
time.sleep(1)
page_text = spider.driver.page_source
return HtmlResponse(url=request.url,body=page_text,request=request,encoding='utf-8')
存储部分：（pipelines模块）
该存储功能如下，代码暂时不开放；
调用外部文件，自动建库建表，对MySQL中的数据进行检测是否重复；
主函数spider配置：
# -*- coding: utf-8 -*-
import scrapy
from selenium import webdriver
#from .. import items
from TZtalent.items import TztalentItem
#from 主项目名.items import items中的类
class TzcodeSpider(scrapy.Spider):
#泰州就业人才网
name = 'tzcode'
# allowed_domains = ['www.xxx.com']
#不需要动，改相应的配置信息即可
#传参
def __init__(self,table_name,keyword,webhook,*args,**kwargs):
super(TzcodeSpider, self).__init__(*args, **kwargs)
# path = r"C:UsersAdministratorDesktopphantomjs-1.9.2-windowsphantomjs.exe"
# self.driver = webdriver.PhantomJS(executable_path=path)
#防止selenium识别
options = webdriver.ChromeOptions()
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option('useAutomationExtension', False)
self.driver = webdriver.Chrome(options=options)
self.driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
# self.driver = webdriver.Chrome()
##灵活变动，有的网站统一是gb2312编码，需要将URL进行转换--urlencode编码
#self.keyword = quote(keyword.encode("gb2312"))
self.keyword = keyword
self.webhook_url = webhook
self.table_name = table_name
self.start_urls =[f"-----------url------{self.keyword}"]
#解析selenium发过来的response数据
def parse(self, response):
# print(response.url)
#父标签---所需要信息标签上的父标签
div_list = response.xpath("父标签xpath语法")
item = TzemploymentItem()
for div in div_list:
item['title'] = div.xpath("./匹配的title信息xpath").extract_first()
#判断title是否为空
if item['title'] == None:
break
item['company_name'] = div.xpath("./匹配的company_name信息xpath").extract_first()
item['company_url'] = div.xpath("./匹配的company_url信息xpath").extract_first()
item['site'] = div.xpath('./匹配的site信息xpath').extract_first()
yield items
#
def __del__(self):
#退出驱动并关闭所有关联的窗口
self.driver.quit()
传参并启动爬虫：
#spider中url与xpath配置完成后，进行参数设置
from scrapy import cmdline
cmdline.execute("scrapy crawl tzcode -a table_name=表名 -a keyword=java -a webhook=".split())
适用范围：
- 网站反爬不强的地方网站；
- 51job、拉钩等可使用。
注：
- 仅用于技术交流学习，不承担任何责任。