zoukankan      html  css  js  c++  java
  • Python Scrapy在windows上的安装方法

    如果想要学习爬虫,肯定会了解Scrapy,但安装Scrapy的方法相对于安装其他第三方库麻烦一点。

    下面总结一下在我的电脑上安装Scrapy的方法,我的电脑是Windows10,32位操作系统。有如下几个步骤:

    1. 安装 Microsoft Visual C++ Build Tools,可以从https://visualstudio.microsoft.com/downloads/获取,得到这样一个exe文件,双击即可下载文件进行安装。记得勾选Visual C++生成工具选项。

    如果不安装,后续安装twisted会报以下错误:

    2. 安装pywin32,这个库必须使用.exe安装包来进行安装,利用pip容易出现安装出错。从http://sourceforge.net/projects/pywin32/下载跟操作系统匹配的安装包。

    3. 利用pip安装twisted。Twisted是Python中一个非常重要的基于事件驱动的异步输入/输出引擎,它的安装依赖于pywin32和Visual C++ Build Tools。

    pip install twisted

    4. 利用pip安装Scrapy

    pip install Scrapy

    在上面过程中,通过exe安装pywin32是没办法指定安装位置的,所以pywin32只能安装到系统的python环境中。由于twisted和scrapy的安装,会附带安装大量的依赖库,这些依赖库仅在使用Scrapy时

    才用到,因此,在第3步之前利用如下命令用virtualenv创建一个Python虚拟环境,将twisted和scrapy安装到虚拟环境中:

     virtualenv --always-copy --system-site-packages spider

          

      关于Scrapy安装和使用更详细的介绍参考:https://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/install.html

  • 相关阅读:
    hadoop2.2 伪分布式环境
    java Map实现的cache manager
    Java语言基础(九)
    Java语言基础(八)
    Java语言基础(七)
    Java语言基础(六)
    Java语言基础(五)
    Java语言基础(四)
    Java语言基础(三)
    Java语言基础(二)
  • 原文地址:https://www.cnblogs.com/legend-123/p/11188518.html
Copyright © 2011-2022 走看看