zoukankan      html  css  js  c++  java
  • 怎么在32位windows系统上搭建爬虫框架scrapy?

    禁止转载:

      自学python,然后搭建爬虫框架scrapy。费了我一上午的心血。终于搭建成功,以防以后忘记搭建流程,特此撰写此贴,开写

    ***************************************************************************************************************

    首先安装python,我安装的是python2.7.12,安装在F:python2.7.12,资源自行下载。由于在安装python的时候,会自动安装pip这个python管理工具,不要管pip的安装.你只要一步步安装就可以了。

    接下来就是在cmd中能运行python,所以要进行环境变量的配置:

    在path路径中加上:

      ";F:python2.7.12;F:python2.7.12Scripts"

    这是我的path路径:C:ProgramDataOracleJavajavapath;

    %SystemRoot%system32;

    %SystemRoot%;

    %SystemRoot%System32Wbem;

    %SYSTEMROOT%System32WindowsPowerShellv1.0;

    %JAVA_HOME%in;

    %CATALINA_HOME%lib;

    E:mysql-5.6.24-win32in;

    F:mongodb2.6.9in;

    F:python2.7.12;

    F:python2.7.12Scripts(一定要配置好Scripts)

    可以根据自己的安装目录进行配置,不要盲目效仿。配置好以后,打开cmd窗口,输入python,然后就可以获得python的版本号,说明安装成功

    那么怎么知道python管理工具pip是否装好,可i以在cmd中输入pip,可以运行说明成功,这一部分可以参考网上很多教程

    *********************************************************************************************************

    接下来就是爬虫框架scrapy的安装:

    1、安装setuptools

    打开,cmd窗口,输入pip检查pip是否安装成功,成功后,然后输入:

    pip install setuptools

    观察cmd窗口,如果出现Successfully installed setuptools说明安装成功。

    2、安装lxml

    本来以为输入下面这个命令,就能顺利安装成功但是出现了问题:

    pip install lxml

    这一步,耗费了我一个多小时,安装出现了问题,如:

     fatal error: 'libxml/xmlversion.h' file not found

    在网上各种找原因,有大神是说没安装libxml2-devel and libxslt-devel,和没有安装 libxml2和 libxslt文件。其实报错原因中也说明了没有安装好 libxml2

    各种解决方案,但是找了很久,试了很多种方法,最终我就参考了

    http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html       

    http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml(很多python依赖的库资源下载)

    http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html

    最后解决了问题,解决步骤如下:

      1)、首先安装wheel,确定安装成功:

    pip install wheel

      2)、下载依赖库,可以在http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml中下载

      然后,把下载好的依赖文件放在python的安装包中,我的是放在F:python2.7.12中

      3)、开始安装lxml

    pip install F:python2.7.12lxml-3.6.4-cp27-cp27m-win32.whl

      然后就安装成功了

    3、安装zope.interface

    pip install zope.interface

    这一步没有遇到问题

    4、安装Twisted

    安装Twisted出现了问题:参考文档python2.7安装Twisted报Microsoft Visual C++9.0 required然后解决了

    pip install Twisted

    5、安装pyOpenSSL

    pip install pyOpenSSL

    6、安装win32py

    这一部卡住了,原来http://www.cnblogs.com/pang1567/p/4168768.html这个帖子,没有win32py这个文件,其实是安装pypiwin32

    pip install pypiwin32

    7、安装Scrapy

      pip install Scrapy

    终于到了激动人心的时候了!安装了那么多小部件之后终于轮到主角登场。然后就显示安装成功了

    直接在cmd中输入Scrapy回车即可。大功告成了啊。so happy


      

    参考贴:

    http://coding.derkeiler.com/Archive/Python/comp.lang.python/2012-11/msg00520.html

    http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

    http://jingyan.baidu.com/article/cbcede07177b8702f40b4df9.html

    http://www.cnblogs.com/pang1567/p/4168768.html

    http://stackoverflow.com/questions/26669972/install-pywin32-with-pip-in-windows-7-does-not-work-in-python-3-4-2

    python2.7安装Twisted报Microsoft Visual C++9.0 required

     

  • 相关阅读:
    非局部均值(NL-means)
    图像对比度的理解
    汇编语言之计算器设计
    基于DnCNN模型的图像去噪论文详解(Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising)
    P2024 [NOI2001]食物链(洛谷)
    P2256 一中校运会之百米跑(洛谷)
    P1037 产生数(洛谷)
    Java 换行和回车
    html 一些常用字符
    update
  • 原文地址:https://www.cnblogs.com/caochuangui/p/5980402.html
Copyright © 2011-2022 走看看