zoukankan      html  css  js  c++  java
  • 搭建PySpider爬虫服务

    1.环境准备

    前置环境部署

    在开始部署前,我们需要做一些前置准备 。

    yum 更新

    等待时间较长

    安装开发编译工具

    安装依赖库

    升级pip

     

    2.

    部署 mariadb

    由于 CentOS 7 中 MySQL 数据库已从默认的程序列表中移除,我们使用 mariadb 代替。

    安装 mariadb

    启动 mariadb 服务

    设置 root 密码

    默认的root用户密码为空,你可以使用以下命令来创建 root 用户的密码:

    检查是否安装成功

    现在你可以尝试通过以下命令来连接到 Mysql 服务器 
     

     

    3.部署redis

     下载、解压安装包

    下载安装包

     

     

    解压安装包

     

    移动解压包到 /usr/local 内

     

    编译安装

    设置 redis 配置

    设置配置文件路径

     

     

    修改 /etc/redis/redis.conf 文件的 daemonize 配置项为如下:

    启动 redis 服务

     

    4.

    部署 pyspider

    安装依赖

    安装 pyspider

    配置 pyspider

    首先创建配置目录

     

     然后 /etc/pyspider 目录下创建 pyspider.conf.json,参考下面的内容。

    其中 mysql 配置中的 root 为您 mysql 的用户名, root: 后面的为您刚设置的密码。

     

     webui 配置中的 username 及 password 为您访问 WebUI 时候需要的用户名,你也可以不设置用户名密码,直接将 need-auth 设为 false 即可。

     

    启动服务

    如果一切正常,现在访问 http://IP:5000,您应该可以看到 pyspider dashboard 的首页了。

    服务能够正常启动后,我们需要让它能够在后台运行,您可以通过以下命令让服务在后台运行

    此时您可以访问 http://IP:5000 使用您的爬虫来搜集数据了,具体 pyspider 爬虫脚本的编写及使用教程可以参考 网上资料

     

     

  • 相关阅读:
    perl oneline
    perl修改镜像源地址
    pandas 模块
    django学习
    python- shutil 高级文件操作
    小爬虫爬一个贴吧网页的图片
    Python Tkinter的学习
    python的帮助信息的写法
    python3.5+tornado学习
    LinkedList,ArrayList,HashMap,TreeMap
  • 原文地址:https://www.cnblogs.com/ztca/p/8679288.html
Copyright © 2011-2022 走看看