zoukankan      html  css  js  c++  java
  • Scrapy安装指南(windows)

    windows开发,难免遇到很多坑,比一般开发是艰苦得多。先不吐槽windows,我们直接看这个scrapy怎么安装。

    首先,要有一份文档,比如我用这个:

      http://scrapy-chs.readthedocs.io/zh_CN/0.24/index.html。

    最好是根据自己的scrapy版本去找文档,百度一下google一下都行。

    找到文档之后,文档中有安装指南,这个:

      http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html#intro-install-platform-notes

    教你装装python,装个pip,基本上没什么用,呵呵呵。

    scrapy要说,是有许多依赖的,你的python装好之后,直接pip install scrapy,在windows多半报错,先看最常见的错误:

      如果出现visual C++的字样,这个时候需要明白原因,是因为你的某个python包需要C++去编译,最简单你可以直接找到这个包,下载编译好的离线安装。你也可以直接下载安装VC,报错中会给个地址,注意VS版本。

      1.缺少libxml2,或者说缺少lxml

      这个时候,安装lxml:pip install lxml。

      安装上了只能说你运气好,安装不起很正常,没关系,离线安装:https://pypi.python.org/pypi/lxml/3.6.0这个网址,找到自己对应的版本,平台一定要正确,不然也安装不上,确认一下自己的windows位数,和自己python的版本,多版本的时候一定确定自己是安装在哪个版本的python上的。

      whl包的安装方法 pip install + 安装包全路径.whl

      2.缺少pyOpenSSL

      仍然是pip install安装,离线下载地址:

      https://pypi.python.org/pypi/pyOpenSSL/16.1.0

      3.缺少win32api

      安装pywin32,下载地址:https://sourceforge.net/projects/pywin32/files/pywin32/

      直接下载exe安装即可。

      exe包的安装方法 easy_install + 安装包全路径.exe

    以上步骤完成后,安装scrapy:pip install scrapy。如果超时,说明网络不行,推荐换个网速快的网,实在不行可以设置超时时间:

      pip --default-timeout=100 install -U pip

  • 相关阅读:
    关于va_list实例
    va_list、va_start和va_end使用
    react 开发 vscode需要安装的开发插件
    Django(二十)下拉列表-省市联动实例:jquery的ajax处理前端
    Django(二十)分页:
    mysql常用命令
    Mysql8.0免安装包配置方法
    Django(十九)文件上传:图片上传(后台上传、自定义上传)、
    Django(十八)后台管理:列表页选项、编辑页选项、自定义后台页面
    Django(十七):静态文件、中间件
  • 原文地址:https://www.cnblogs.com/masako/p/5952195.html
Copyright © 2011-2022 走看看