zoukankan      html  css  js  c++  java
  • Windows安装Scrapy(一)

    Scrapy是python开发的一个爬虫框架;Scrapy很多模块都是基于Linux下的,所以在windows上面安装的时候,可能会有各种各样的问题

    下面整理遇到的问题:

    1.直接安装pip install scrapy

    2、安装的时候scrapy它要依赖很多其他的模块,一般都是其他的模块安装的时候会报错,因为pip安装的版本和实际的操作系统需要的版本对应不上,比如说twisted

    3、在pip安装scrapy的时候,他会自动安装其他依赖的模块,安装到哪个模块报错了,它会停止安装,看下面的图,就在安装twisted的时候报错了

    4、打开https://www.lfd.uci.edu/~gohlke/pythonlibs/,找到安装报错的模块,手动下载对应操作系统的安装包,手动安装。

    https://www.lfd.uci.edu/~gohlke/pythonlibs/这个网站是美国一个医科大学的网站,他这个里面有很多python第三方模块的安装包,打开这个网站之后,咱们要装twisted,就直接搜twisted就可以了,可以看到有好几个安装包,根据自己的python版本和操作系统版本下载就好了,看下面的图。

    6、下载之后它是一个whl的文件,也是直接用pip安装就行了

    pip install C:UsersjniuhanyangDownloadsTwisted-17.9.0-cp35-cp35m-win_amd64.whl
    

      

    7、重复第一步

    基本上安装scrapy出现的错误,都是因为单个依赖包有问题导致的,用此方法可以解决大部分问题

  • 相关阅读:
    练习1-6
    c语言while(1)和while(0)
    练习1-3
    每天总结模电--(三)
    每天总结模电——贴片电阻,电容的命名规则(二)
    服务器应用的通用功能
    UML
    算法合集
    python笔记
    笔面试(2019秋招阶段)
  • 原文地址:https://www.cnblogs.com/wxcx/p/12694466.html
Copyright © 2011-2022 走看看