zoukankan      html  css  js  c++  java
  • 爬虫管理平台以及wordpress本地搭建

    爬虫管理平台以及wordpress本地搭建

    学习目标:

    1. 各爬虫管理平台了解
      • scrapydweb
      • gerapy
      • crawlab
    2. 各爬虫管理平台的本地搭建
    3. Windows下的wordpress搭建

    爬虫管理平台了解:

    1. scrapydweb:

      用于Scrapyd实施管理的web应用程序,支持Scrapy日志分析和可视化
      
      github地址:https://github.com/my8100/scrapydweb.git
      
    2. gerapy:

      基于Scrapy,Scrapyd,Scrapyd-Client,Scrapyd-API,Django和Vue.js的分布式爬虫管理框架
      
      相关的配置在我之前博客地址:https://www.cnblogs.com/xbhog/p/13336651.html
      
      该项目github地址:https://github.com/Gerapy/Gerapy.git
      
    3. crawlab:

      基于Golang的分布式爬虫管理平台,支持多种编程语言以及多种爬虫框架.
      
      文档地址:https://docs.crawlab.cn/zh/
      
      GitHub地址:https://github.com/crawlab-team/crawlab.git
      

    注意:前两个框架的搭建基于Scrapyd,如果不知道怎么配置可以看我之前写的博客:https://www.cnblogs.com/xbhog/p/13336651.html

    爬虫管理平台的本地搭建:

    1. scrapydweb搭建:

      • 安装:pip install scrapydweb -i https://pypi.doubanio.com/simple

      • 先打开scrapyd(命令行输入)

      • 再输入scrapydweb

      • 界面效果:

      • 部署安装网上教程很多,不多赘述

    2. gerapy

    3. crawlab:(配置安装官方给的很详细,这里简单说下)

      • 首先把代码从远程仓库clone下来:git clone 地址/复制地址到pycharm中

      • #官方推荐几种安装方式:
        Docker(入门简单,推荐)
        Kubernetes(多机器部署,推荐)
        直接部署(理解原理)
        开发模式(开发调试)
        多节点部署
        #个人选择docker,该项目配置环境过多,怕给本地造成冲突
        
      • docker的安装:

    Windows下的wordpress搭建:

    环境准备:

    1. wampserver软件
    2. wordpress源码
    3. 百度网盘地址:链接:https://pan.baidu.com/s/1mAFu8XrNSfpyL_VgSvb8VA 提取码:1234

    搭建步骤:

    1. 打开wampserver.exe,默认安装(注意在安装路径的时候不能有中文文件夹)

    2. 最后会有四个弹窗:

      • 是否更改浏览器,该软件默认浏览器是explorer,我们点击是,选择谷歌浏览器;

      • 选择nodpad++,选择否。

    3. 安装完成后,点击桌面图标运行,程序颜色表示状态

      • 红色:配置没启动
      • 橙色:配置启动一部分
      • 绿色:配置完全启动
    4. 绿色后,单机程序图标,点击localhost进入网页

    5. 将预先准备的wordpress安装包放到wampserver/www文件夹下

    6. 进入网页地址输入:localhost/wordpress

      点击开始进入配置页面:

    7. 上面配置先放置,我们先进行数据库设置

      输入用户名root,密码空,点击执行。

    8. 进入账户下的root,修改权限,修改密码

    9. 我们需要对应之前的数据库名称(wordpress),所以新建数据库

    10. 设置成功后返回之前的数据库登录页面,填写相关信息:

    11. 提交进入登陆界面配置:

    12. 填写完成进入登陆界面

    13. 登陆:前后台界面

  • 相关阅读:
    第十八章 Nginx Rewrite重写
    第二十章 HTTPS实现LNMP全站访问
    第十九章 HTTPS协议介绍
    第二十一章 Nginx常用HTTPS配置
    第二十三章 Nginx常见问题思考
    ABC232
    1606E Arena
    st+dfs序求lca
    Servlet——HTTP状态 405 方法不允许
    借助SimpleDateFormat来谈谈java里的多线程不安全
  • 原文地址:https://www.cnblogs.com/xbhog/p/13397570.html
Copyright © 2011-2022 走看看