安装包
pip install scrapy
pip install scrapyd
pip install scrapyd-client
pip install spiderkeeper
进入到scrapy项目的根目录:
运行scrapyd
scrapyd
如果不出错就会生成一个scrapyd的服务。
打开对应页面
再另起窗口执行spiderkeeper命令
spiderkeeper
打开spiderkeeper的页面
默认用户名:admin
密码:admin
创建项目
点击Projects-》Create Project
打包egg文件
在scrapy的项目根目录,也就是和setting.py一个等级.
scrapyd-deploy -p chahao -v 1.0 --build-egg chahao.egg
-p后面加的是项目的名字,也就是scrapy爬虫文件的name,后面的内容可以不管,注意最后.egg的文件名规范就行。
点击deploy上传项目
提交以后看到部署成功即可。
执行项目
点击Dashboard然后点击Runonce选择对于的爬虫文件运行即可。
成功之后就可以看到上图的情况,刷新页面
可以查看爬虫的日志和运行状态,点击stop即可停止运行爬虫。
遇到坑
坑1:
提交完了之后,运行文件看不到东西。
看后台发现scrapyd出错了,错误如下
可知原因是项目中没有安装msgpack这个包,安装即可,通过这个错误可以知道,在提交项目到spiderkeeper对应的机器时
需要保证该机器的环境能正常运行程序。