pyspider 介绍

self.crawl

self.crawl(url, **kwargs)

self.crawl是告诉pyspider应该抓取哪个url的主界面。

Parameters:

url

要抓取的网址或网址列表。

callback

解析响应的方法。default：_ call _ _

def on_start(self):
    self.crawl('http://scrapy.org/', callback=self.index_page)

以下参数是可选的

age

任务的有效期。在此期间，该页面将被视为未修改。默认值：-1（从不重新抓取）

@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
    ...

由回调index_page解析的每个页面都将被视为在10天内未更改。
如果您在上次抓取后的10天内提交任务，则会将其丢弃。

priority

任务安排的优先级越高越好。默认值：0

def index_page(self):
    self.crawl('http://www.example.org/page2.html', callback=self.index_page)
    self.crawl('http://www.example.org/233.html', callback=self.detail_page,priority=1)

页面233.html将在page2.html之前被抓取。使用此参数可以执行BFS并减少队列中的任务数（这可能会花费更多的内存资源）。

exetime

unix时间戳中任务的执行时间。默认值：0（立即）

import time
def on_start(self):
    self.crawl('http://www.example.org/', callback=self.callback,
               exetime=time.time()+30*60)

该页面将在30分钟后被抓取。

retries

失败时重试次数。默认值：3

itag

来自前沿页面的标记，以显示任务的潜在修改。它将与其最后一个值进行比较，在更改时重新抓取。默认值：无

def index_page(self, response):
    for item in response.doc('.item').items():
        self.crawl(item.find('a').attr.url, callback=self.detail_page,
                   itag=item.find('.update-time').text())

在示例中，.update-time用作itag。如果没有改变，请求将被丢弃。

• 或者，如果要重新启动所有任务，可以使用带有Handler.crawl_config的itag来指定脚本版本。

class Handler(BaseHandler):
    crawl_config = {
        'itag': 'v223'
    }

修改脚本后再更改itag的值，然后再次单击“运行”按钮。如果没有设置之前没关系。

auto_recrawl

启用后，任务将在每个年龄段重新抓取。默认值：False

def on_start(self):
    self.crawl('http://www.example.org/', callback=self.callback,
               age=5*60*60, auto_recrawl=True)

该页面将每5小时重新启动一次。

method

要使用的HTTP方法。默认值：GET

params

要附加到URL的URL参数字典。

def on_start(self):
    self.crawl('http://httpbin.org/get', callback=self.callback,
               params={'a': 123, 'b': 'c'})
    self.crawl('http://httpbin.org/get?a=123&b=c', callback=self.callback)

这两个请求是一样的。

data

身体附加到请求。如果提供了字典，则将进行表单编码。

def on_start(self):
    self.crawl('http://httpbin.org/post', callback=self.callback,
               method='POST', data={'a': 123, 'b': 'c'})

files

{field：{filename：'content'}}文件字典到分段上传

user_agent

请求的User-Agent

headers

要发送的标头字典。

cookies

要附加到此请求的Cookie字典。

connect_timeout

初始连接超时（秒）。默认值：20

timeout

获取页面的最长时间（以秒为单位）。默认值：120

allow_redirects

按照30x重定向默认值：True

validate_cert

对于HTTPS请求，验证服务器的证书？默认值：True

proxy

用户名的代理服务器：password @ hostname：要使用的端口，目前仅支持http代理。

class Handler(BaseHandler):
    crawl_config = {
        'proxy': 'localhost:8080'
    }

Handler.crawl_config可以与代理一起使用来为整个项目设置代理。

etag

如果页面内容未更改，则使用HTTP Etag机制传递进程。默认值：True

last_modified

如果页面内容未更改，请使用HTTP Last-Modified标头机制来传递进程。默认值：True

fetch_type

设置为js以启用JavaScript fetcher。默认值：无

js_script

在页面加载之前或之后运行的JavaScript应该被函数包装，如function（）{document.write（“binux”）;}。

def on_start(self):
    self.crawl('http://www.example.org/', callback=self.callback,
               fetch_type='js', js_script='''
               function() {
                   window.scrollTo(0,document.body.scrollHeight);
                   return 123;
               }
               ''')

该脚本将页面滚动到底部。函数中返回的值可以通过Response.js_script_result捕获。

js_run_at

运行在document-start或document-end通过js_script指定的JavaScript。默认值：document-end

js_viewport_width/js_viewport_height

设置布局过程的JavaScript提取器的视口大小。

load_images

启用JavaScript fetcher时加载图像。默认值：False

save

一个对象传递给回调方法，可以通过response.save访问。

def on_start(self):
    self.crawl('http://www.example.org/', callback=self.callback,
               save={'a': 123})

def callback(self, response):
    return response.save['a']

123将在回调中返回

taskid

用于标识任务的唯一id，默认是URL的MD5检查代码，可以通过方法def get_taskid（self，task）覆盖

import json
from pyspider.libs.utils import md5string
def get_taskid(self, task):
    return md5string(task['url']+json.dumps(task['fetch'].get('data', '')))

Only url is md5 -ed as taskid by default, the code above add data of POST request as part of taskid.

force_update

即使任务处于ACTIVE状态，也强制更新任务参数。

cancel

取消任务，应与force_update一起使用以取消活动任务。要取消auto_recrawl任务，您还应设置auto_recrawl = False。

cURL command

self.crawl(curl_command)

cURL是用于发出HTTP请求的命令行工具。它可以很容易地从Chrome Devtools> Network面板中获得，右键单击请求并“Copy as cURL”。

您可以使用cURL命令作为self.crawl的第一个参数。它将解析命令并像curl一样发出HTTP请求。

@config(**kwargs)

使用trim方法作为回调时self.crawl的默认参数。例如：

@config(age=15*60)
def index_page(self, response):
    self.crawl('http://www.example.org/list-1.html', callback=self.index_page)
    self.crawl('http://www.example.org/product-233', callback=self.detail_page)

@config(age=10*24*60*60)
def detail_page(self, response):
    return {...}

list-1.html的年龄为15分钟，而product-233.html的年龄为10天。因为product-233.html的回调是detail_page，意味着它是detail_page所以它共享detail_page的配置。

Handler.crawl_config = {}

整个项目的self.crawl的默认参数。调度程序的crawl_config中的参数（priority，retries，exetime，age，itag，force_update，auto_recrawl，cancel）将在创建任务时加入，fetcher和processor的参数将在执行时连接。您可以使用此机制更改之后的获取配置（例如cookie）。

class Handler(BaseHandler):
    crawl_config = {
        'headers': {
            'User-Agent': 'GoogleBot',
        }
    }

• crawl_config set a project level user-agent.

About Projects

项目是独立的，但您可以从项目导入other_project导入另一个项目作为模块.

一个项目有5个状态：TODO，STOP，CHECKING，DEBUG和RUNNING

• TODO - 创建一个脚本来编写
• STOP - 如果要将项目设置为STOP（= =），可以将项目标记为STOP。
• 检查 - 修改正在运行的项目时，为防止不完整的修改，项目状态将自动设置为CHECKING。
• 调试/运行 - 这两种状态与蜘蛛没有区别。但是当它第一次运行时将它标记为DEBUG是好的，
• 然后在检查后将其更改为RUNNING。.

rate - 一秒钟内有多少请求爆发

• 考虑到这种情况，速率/爆发= 0.1 / 3，这意味着蜘蛛每10秒抓一页。所有任务都完成，项目每分钟检查最后更新的项目。假设发现了3个新项目，pyspider将“爆发”并抓取3个任务而不等待3 * 10秒。但是，第四项任务需要等待10秒。