zoukankan      html  css  js  c++  java
  • Win7下python Scrapy一站式搭建全攻略(内附相关下载链接)

    写在前面:

          好久没有登录博客了,意外看到之前的几篇文章都有不错的阅读量,开心极了,不过没有什么点赞和评论,大概是没有给大家带来什么切实的帮助吧。o(*////▽////*)q。

          最近在NTU负责一个国家研究基金委支持的智能城市交通的项目,第一步就是获取道路交通各种信息,收集分析数据。因为各种原因这次选择了Scrapy这个框架,也是我自己第一次接触python爬虫,圆满完成需求数据爬取之后,我在四台电脑上搭建了Scrapy环境,遇到了各种各样的问题,借此写一篇总结,也希望能够给大家提供一丝丝的帮助,更希望能帮助大家,流畅的搭建完成。

    ———————————————————————————————————————————————————————————

    一、安装python

    根据自己的需求,到官网下载适合自己电脑的版本,https://www.python.org/downloads/,这里我选择的是较为稳定的2.7版本

    链接: http://pan.baidu.com/s/1i5hZPS5%20 密码: e6qi

    安装过程十分简单,除了选择路径,一路next到底即可。完成之后,别忘将python添加到环境变量里。

    点击“我的电脑”右键“属性”,进入到如下界面,左上角选择“高级系统设置”:

    弹出一个对话框,在对话框里找到并选择“环境变量”选项,进入之后,下方找到“path”,之后编辑,用 ; 隔开,插入安装python的文件路径,这里为了之后安装方便,也将python下的script路径给添加进来。

                              

    添加到环境变量之后,打开命令行,输入,python,如果出现如下界面则安装成功,如果显示不是内部外部命令,回去检查环境变量设置环节。很大可能是误输入中文输入法之下的;检查一遍,修改之后,重启命令行再输入一遍。

    二、安装pywin32

    在Windows下,必须安装pywin32,下载地址:https://sourceforge.net/projects/pywin32/,链接: http://pan.baidu.com/s/1hsmL92W 密码: 3qnf

    安装过程也很简单,一路next到底,安装完毕之后在命令行先输入python,之后输入import win32com验证:QQ截图20150211171713   

    如图所示,如果没有提示错误,则证明安装成功,如果错误就再来一遍,这个步骤一般不会出现问题。

    三、安装pip

    pip是一个安装和管理python包的工具,可以替代easy_install。下载地址:https://bootstrap.pypa.io/get-pip.pyhttp://pan.baidu.com/s/1dFKbFP3%20 密码:m3ar

    打开命令行进入到保存get-pip的路径进行操作,可以用cd的命令,也可以shift+右键选择用命令行打开。然后键入:

    python get-pip.py 
    

    即可

    安装完成后在命令行输入

    pip --version 

    显示即安装成功

    四、安装pyOPENSSL

    在Windows下,是没有预装pyOPENSSL的,而在Linux下是已经安装好的。

    安装地址:https://launchpad.net/pyopenssl 或 http://pan.baidu.com/s/1hrXS4Fa 密码:25pd

    下载后,双击,一路next就可以。

    五、安装 lxml

    lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML

    直接执行如下命令

    pip install lxml
    

     然后,我们迎来了一个大坑,这里可能会报各种错,比较常见的:

    1.报错说电脑没有匹配的 Microsoft Visual C++库,点击官网下载安装,点击网盘下载安装,密码:37h2。安装完成后重启命令行再次执行上述命令

    2.报其他乱七八糟的错,或者上述库安装完成以后依旧不成功。这个时候可以尝试

    easy_install lxml
    

     或者,下载集成的安装包,直接双击一路next安装。如果还是不行,一个屡试不爽的方法,下载lxml.wheel文件。然后在wheel目录下键入

    pip install lxml-3.6.4-cp27-cp27m-win_amd64.whl
    

    六、安装Scrapy框架

    在命令行下

    pip install Scrapy
    

     

    安装完毕后,在命令行输入Scrapy,如果显示如下图所示,则安装成功:

    七、编译程序的时候发现,经常报告缺失lib2,所以这里附上安装httplib2的方法

    下载,然后解压,在httolib2目录下,pip install httplib2 即可。

    ————————————————————————————————————————————————————————————

    如果还有其他问题,欢迎留言讨论交流。

    谢谢你!那么优秀,还来关注我。
  • 相关阅读:
    Luogu P3275 糖果
    Python基础学习
    SharePoint 2013
    Office
    KnockoutJS
    SharePoint 2013
    Bootstrap
    SharePoint 2013
    CSS
    AngularJS
  • 原文地址:https://www.cnblogs.com/jisijie/p/6277755.html
Copyright © 2011-2022 走看看