zoukankan      html  css  js  c++  java
  • python3.5爬虫框架Scrapy的安装和排错(windows环境)

    本文记录win7系统下使用python3.5安装Scrapy爬虫框架。

    Scrapy框架目前的官方文档说明是还不支持windows的python3环境的,但是网友反映以及实际测试均可以使用,下面就进行简单的说明。

    首先在这里不得不推荐安装Anaconda科学计算环境,这是一个对python进行管理的工具,并且集成了非常丰富的科学计算python库。

    1.安装OpenSSL

    scrapy框架的使用需要安装OpenSSL,而OpenSSL的使用又依赖windows的Microsoft Visual C++2008运行库,所以要先安装运行库,再安装OpenSSL然后才能使用scrapy。

    1)下载openssl程序并安装: https://slproweb.com/products/Win32OpenSSL.html 注意下载

    Win64 OpenSSL v1.0.2j Light 版本就可以了,其它版本可能也会出现问题,反正官网上下载的试过下面的方法就不行;

    2)将openssl安装路径下的bin文件夹内的ssleay32.dll和libeay32.dll两个文件复制到C:system32文件夹下,覆盖原有的文件;

    3)在系统的环境变量中增加openssl下bin文件夹路径,类似这样:C:OpenSSL-Win64in。

     

    2.安装Scrapy

    对于windows下没有安装visual studio的电脑,在使用pip或easy_install时可能会出现“unable to find vcvarsall.bat”的错误,这是因为缺少相应的vs编译器。网上的解决办法有两种:

      第一种方式:使用MinWG作为编译器

      第二种方式:使用visual studio作为编译器

      参考: http://blog.csdn.net/secretx/article/details/17472107 

      第一种方式没试过,至于第二种方式,编译一下就要下载一套几个G的软件是不划算的,具体的过程可以参考上面的链接。

    因此我比较推荐使用Anaconda中的conda方法进行安装。使用conda命令进行安装非常简单,只要输入conda install scrapy即可安装所有的Scrapy依赖库以及Scrapy。

     

    3.Scrapy排错

    1)scrapy创建项目时出现如下提示:

      ImportError:DLLs load failed:操作系统无法运行 %1。

      出现这种错误的原因一般是没有由于安装OpenSSL或没有设置好OpenSSL的系统路径,解决方法参考前述OpenSSL的安装过程。

    2)使用pip/easy_install进行安装是提示“unable to find vcvarsall.bat”错误,问题是缺少vs编译器,解决方案具体参考前面的步骤即可。

       参考:  http://snoopyxdy.blog.163.com/blog/static/601174402014413103551989/

  • 相关阅读:
    Centos 7 zabbix 实战应用
    Centos7 Zabbix添加主机、图形、触发器
    Centos7 Zabbix监控部署
    Centos7 Ntp 时间服务器
    Linux 150命令之查看文件及内容处理命令 cat tac less head tail cut
    Kickstart 安装centos7
    Centos7与Centos6的区别
    Linux 150命令之 文件和目录操作命令 chattr lsattr find
    Linux 发展史与vm安装linux centos 6.9
    Linux介绍
  • 原文地址:https://www.cnblogs.com/zhangjpn/p/6277747.html
Copyright © 2011-2022 走看看