Gerapy
Gerapy是Scrapy界面调度框架,通过gerapy和scrapyd配合可以完成爬虫项目的在线管理,安装gerapy
pip install gerapy
进入gerepy工作目录,初始化项目
cd e:/work_spider/ # 进入工作目录
gerapy init # 初始化工作目录
cd gerapy
gerapy migrate # 完成项目数据迁移
gerapy createsuperuser # 创建超级管理员用户
gerapy runserver # 在http://localhost:8000启动服务
安装配置scrapyd
pip install scrapyd
初始化scrapyd,进入scrapyd工作目录scrapyd对应的scrapyd服务就在当前服务器启动[http://ip:6800]