Gerapy 使用
Gerapy 是一款分布式爬虫管理框架,支持 Python 3,基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发,Gerapy 可以帮助我们:
更方便地控制爬虫运行
更直观地查看爬虫状态
更实时地查看爬取结果
更简单地实现项目部署
更统一地实现主机管理
更轻松地编写爬虫代码(几乎没用,感觉比较鸡肋)
Greapy安装
1.gerapy下载
pip install gerapy
gerapy 查看是否安装成功
2.初始化gerapy
gerapy init
执行后会在当前目录下生成一个名字为gerapy的文件夹
cd gerapy
接着进入该文件夹下,可以看到project文件家说明初始化成功
3.初始化数据库
gerapy migrate
(此命令在gerapy目录下执行)
会在gerapy目录下生成一个sqlite数据库,同时创建数据表
4.运行gerapy服务
gerapy runserver
(如果电脑在打开酷狗音乐,请关闭再访问:因为端口是一样的
5.访问gerapy管理界面
http://127.0.0.1:8000
如果遇到:需要登录账号密码 ,但是我们没有设置的话,可以执行:
gerapy migrate
初始化数据库
gerapy createsuperuser
创建超级用户
(之后就是输入Username:,
Email:--可以不用写直接回车,
Password:)
访问成功!!!