zoukankan      html  css  js  c++  java
  • scrapy-splash的安装和使用

    这次记录的scrapy-splash的安装和使用基本上是两种情况:一是win10比较新的版本+docker for windows;二是win10家庭版,win7(理论上win8也是)+docker toolbox

    首先是win10比较新的版本+docker for windows:

    前面基本是一键安装,因为docker for windows没有给你选择的地方

    接着开启docker service,确认docker is running,就可以开始直接使用命令行操作

     镜像拉取成功,接下来安装scrapy-splash:

    第一次开启scrapy-splash服务的时候会比较卡,耐心等待:

    根据该网址下载:http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/

     

    记centos运行scrapy-splash的一个坑问题:centos系统安装好了docker,拉取了镜像scrapinghub/splash,运行起来,却一直得不到数据,并报如下错误:

     Retrying <GET https://list.jd.com/list.html?cat=1319%2C1523%2C7054&go=0# via http://139.159.149.185:8050/render.html> (failed 2 times): TCP connection timed out: 110: Connection timed out.
    

    最终解决方法是:在settings.py文件中将

     

    改成

    上面的url是在我的windows7上可以使用的,下面的url测试在centos系统上可以使用的,详细原因还不知道,但是确实解决了问题。=-=

  • 相关阅读:
    Springmvc ajax请求400
    JSR-303 结合spring 校验
    引入外部字体文件进行设置
    AlertDialog
    通过setContentView设置activity的不同样式
    取得手机屏幕像素
    在代码中引用资源
    解决json_encode中文乱码
    解决MySQL中文乱码
    android studio导入PullToRefresh
  • 原文地址:https://www.cnblogs.com/-hjd/p/9739205.html
Copyright © 2011-2022 走看看