zoukankan      html  css  js  c++  java
  • Python3安装Scrapy

     Microsoft Visual C++ Build Tools

      最近项目在写爬虫,项目经理给了个Python Scrapy的爬虫项目,要求使用Java实现相关功能。于是乎在本地先后安装了Python3和Scrapy,在安装Scrapy时出现了个小插曲,现在总结如下:

      第一、安装Scrapy

      查看网上安装scrapy,网友基本就是告诉你使用命令: pip install scrapy

    然而、不是很熟悉Python的时候,就会发现根本找不到pip命令,这里不是说在PTAH中配置了Python的环境变量就可以了,这是因为pip在python安装目录的Scripts文件夹中。如图:

    所以、这里还需要将Scripts加入环境变量PATH中,这样就可以直接使=使用命令行的方式安装Scrapy了。

      当你设置好环境变量后,准备安装Scrapy时,你又会惊喜的发现安装过程报了个错误:

    error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

      第二、安装Wheel  

      这个错误是在安装Scrapy所需要的中间件Twisted时,所需要的编译工具,如果你老老实实的去下载 Microsoft Visual C++ Build Tools,你就会发现这个工具不是一般的大,而且据网友反映,安装后依然无法安装Scrapy;现在、教你用另一种方式安装:

    1.执行命令:pip install wheel

    2.手动下载:Twisted文件,网址:https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

      注意:这里你要下载和你本地的Python版本一致的Twisted文件;字符cp后为python的版本,即27表示Python2.7,36表示Python3.6,目前最新的稳定版是Python3.6

      

    3.安装Twisted:pip install [你下载的Twisted文件在本地的路径],如:pip install E://Twisted...cp36....amd64.whl

      这里可能报:Twisted-18.4.0-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform.

      建议:请检查安装Python版本32位还是64位,以及有可能的文件名称是否支持。

    4.安装Scrapy:pip install scrapy

      以上各步骤都执行成功后,即可创建Scrapy爬虫项目了。小伙伴、有木有很期待。

  • 相关阅读:
    Service Workers里的CacheStorage和Cache
    application cache和localstorage的区别
    localStorage和sessionStorage区别
    Ubuntu软件的安装和使用
    C++之数据类型
    C++之C++的词法单位
    C++之语言概述
    Ubuntu双系统无法挂载Windows10 硬盘的解决方法
    opencv 显示摄像头数据
    Ubuntu 中使用git 上传代码
  • 原文地址:https://www.cnblogs.com/julygift/p/9063543.html
Copyright © 2011-2022 走看看