zoukankan      html  css  js  c++  java
  • Scrapy环境安装

    开始安装前,建议安装Visual C++ 2015 Build Tools,否则会一直出现如下提示:

    下载地址:http://landinghub.visualstudio.com/visual-cpp-build-tools

    1.安装python3.5,并配置环境变量。

    2.安装Twisted

    (1)    安装setuptools

    官方主页:http://pypi.python.org/pypi/setuptools

    执行后在python根目录下的scripts文件夹里就会有easy_install.py等文件了,都带有easy_install字眼。easy_install工具安装完成。

    (2)安装Zope.Interface

    官方主页:http://pypi.python.org/pypi/zope.interface/

    下载地址:https://pypi.python.org/pypi/zope.interface/#downloads

    选择符合当前环境的可供下载的egg,这里我们选择,下载,这样的一个文件,这时候把这个egg文件拷贝进入刚才我们说道的python根目录下的Scripts目录,同easy_installs等文件一个目录位置。然后进入cmd模式,在cmd模式下进入这个script目录,执行easy_install.py  egg文件名,执行安装这个egg文件。

    在python环境中执行import zope.interface,加入不报错误,那么说明zope.interface安装正确。

    (3)安装twisted

    官方主页:http://twistedmatrix.com/trac/wiki/TwistedProject

    官网建议的安装方式:pip install Twisted[windows_platform]

     

     3.安装pyOpenSSL

    下载地址:https://pypi.python.org/pypi/pyOpenSSL#downloads

    安装方式为:解压pyOpenSSL-16.2.0.tar.gz,进入到setup.py所在目录,使用python setup.py install命令安装。

    安装成功

    4.安装w3lib

    主页:https://pypi.python.org/pypi/w3lib

     

    5.安装lxml

    只要自行命令 pip install lxml 就ok(在那个目录下运行无所谓)

    6.安装wheel

    7.安装scrapy

     

    安装完成:

    网上的教程大都是基于python2.7的,可我之前装了python3.5,就看着documentation装了一下,希望可以用。好了安装到此完成,接下来就开始spider

  • 相关阅读:
    discuz_ucenter_api_for_java的中文问题
    java的编码问题详解
    java的泛型的技巧
    向maven中央仓库提交jar
    Java并发之FutureTask
    java并发之Semaphore
    centos中JDK版本冲突的问题
    C++中嵌入Python
    boost::python的使用
    c++调用python引号的问题
  • 原文地址:https://www.cnblogs.com/catherinezyr/p/6491333.html
Copyright © 2011-2022 走看看