zoukankan      html  css  js  c++  java
  • windows配置Scrapy爬虫框架

    一、环境

    Windows10 64位

    Python2.7.13 64位

    下面的安装步骤最好配置代理,可能会遇到被墙的情况。

    二、Python的安装

    可以去参考这篇文章:http://blog.csdn.net/u011781521/article/details/53909151

    三、Scrapy依赖项的安装

    Scrapy的依赖项可以在这里进行下载:http://download.csdn.net/detail/u011781521/9814971

    安装以下依赖,也可以通过pip进行安装(这里最新版的Python2.7.13安装好后会有pip安装方式直接通过pip命令即可安装最新版的库):

    安装lxml-3.2.4.win-amd64-py2.7.exe
    安装pywin32-218.win-amd64-py2.7.exe
    安装Twisted-13.2.0.win-amd64-py2.7.exe
    安装pyOpenSSL-0.13.1.win-amd64-py2.7.exe
    安装zope.interface-4.3.3.win-amd64-py2.7.exe(https://pypi.python.org/pypi/zope.interface#downloads)
    安装MySQL-python-1.2.3.win-amd64-py2.7.exe(非必须)

    安装PIL-fork-1.1.7.win-amd64-py2.7.exe python图片库

    上面的安装步骤很简单,下一步下一步就行了,安装之后验证scrapy依赖项是否安装成功的方法:

    cmd执行python进入python控制台


    ● 执行import lxml,如果没报错,则说明lxml安装成功。
    ● 执行import twisted,如果没报错,则说明twisted安装成功。
    ● 执行import OpenSSL,如果没报错,则说明OpenSSL安装成功。
    ● 执行import zope.interface,如果没报错,则说明zope.interface安装成功。

    四、安装Scrapy

    方法1: 控制台输入:pip install scrapy(下载较慢,安装的是最新版的Scrapy尽量安装最新版的好处不必多说)
    方法2: 去官网下载解压,然后在其目录下执行$ python setup.py install进行Scrapy的安装。

    这里采用第一次方法进行安装:

    检查Scrapy是否安装成功的方法:可以在cmd控制台执行 scrapy  version,如果没有报错,说明安装成功。

  • 相关阅读:
    jeesite导入导出
    jeesite下载
    百度echart
    js获取日期
    清除svn
    父子窗口
    JS高级程序设计之高级技巧
    JS中离线应用与客户端存储
    JS最佳实践
    JSON之JS高级程序设计笔记
  • 原文地址:https://www.cnblogs.com/zxtceq/p/8534476.html
Copyright © 2011-2022 走看看