zoukankan      html  css  js  c++  java
  • linux 配置crawlergo_xray

    用的是阿里云学生机服务器,ubuntu系统

    先安装一个chromium内核,参考:https://blog.csdn.net/sdujava2011/article/details/50880663

    32位:

      下载:wget https://dl.google.com/linux/direct/google-chrome-stable_current_i386.deb

      安装:sudo dpkg -i google-chrome-stable_current_i386.deb

    64位:

      下载:wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb

      安装:sudo dpkg -i google-chrome-stable_current_amd64.deb

    然后找到路径:

    which ch(双击Tab键)(主要为了确认安装是否成功)

    然后填补

    which chromium

    比如我的是这样子的(路径记下来,有用的)

    之后下载python以及用pip下载这些库

    然后clone原作者的项目https://github.com/timwhitez/crawlergo_x_XRAY

    git clone https://github.com/timwhitez/crawlergo_x_XRAY.git

    之后的crawlergo 和xray我是选择手动下载在上传到服务器中的

    crawlergo:https://github.com/0Kee-Team/crawlergo/tags

    xray:https://github.com/chaitin/xray/tags

    注意选择linux版本

    crawlergo文件放在和launch.py同目录下

    xray的位置随意,推荐放在crawlergo_x_XRAY里面

    上传到服务器后,有可能无法运行,chmod 777 给一下权限

    测试一下能不能用

    crawlergo:  ./crawlergo -c [chromium路径] -t [最大标签页数] [目标网址]

          ./crawlergo -c /snap/bin/chromium -t 5 http://www.baidu.com

    可以正常运行:

     
    xray :./xray_linux_amd64 version

    可以正常运行:

       

    之后vim打开launch.py

    找到这一行

     修改为chromium的路径

    :wq保存退出

    直接测试运行一下

    xray: ./xray_linux_amd64 webscan --listen 127.0.0.1:7777 --html-output test_1.html

    python3 launcher.py

    可能会比较久

  • 相关阅读:
    ffmpeg full help
    docker 服务命令
    php 查看swoole版本
    vue/cli 的启动
    TP框架的使用,不需要阿帕奇
    mysql 的文件恢复
    mac下使用iterm实现自动登陆
    跨库怎样查询
    swoole和websocket的关系
    mac上mysql的安装和使用
  • 原文地址:https://www.cnblogs.com/This-is-Y/p/13773847.html
Copyright © 2011-2022 走看看