熟悉pyspider的装饰器取经地点:https://segmentfault.com/a/1190000002477863
@config(age=10 * 24 * 60 * 60)在这表示我们认为 10 天内页面有效,不会再次进行更新抓取@every修饰器,@every(minutes=24 * 60表示on_start每天会执行一次,知道这个规则之后就可以根据自己需要改参数了-
开始抓取
- 使用
run单步调试你的代码,对于用一个callback最好使用多个页面类型进行测试。然后保存。 - 回到 Dashboard,找到你的项目
- 将
status修改为DEBUG或RUNNING - 按
run按钮 - 打开一个新窗口
- 按
Ctrl+Shift+I(在 Mac 上请按Cmd+Opt+I) 打开开发者工具。 - 切换到网络( Netwotk 面板)
- 使用