zoukankan      html  css  js  c++  java
  • python和scrapy的安装【转:https://my.oschina.net/xtfjt1988/blog/364577】

        抓取网站的代码实现很多,如果考虑到抓取下载大量内容scrapy框架无疑是一个很好的工具。Scrapy = Search+Pyton。下面简单列出安装过程。PS:一定要按照Python的版本下载,要不然安装的时候会提醒找不到Python。建议大家安装32位是因为有些版本的必备软件64位不好找。(我的是xp系统)

        1.安装Python

        安装完了记得配置环境,将python目录和python目录下的Scripts目录添加到系统环境变量的Path里。在cmd中输入python如果出现版本信息说明配置完毕(如下面截图)。python下载地址

          

        2.安装lxml

        lxml是一种使用 Python 编写的库,可以迅速、灵活地处理 XML。点击 这里选择对应的Python版本安装。验证是否安装成功,如下图。 
          
        
        3.安装setuptools 

        用来安装egg文件,点击 https://pypi.python.org/pypi/setuptools#using-setuptools-and-easyinstall 下载python2.7的对应版本的setuptools。 

      设置环境变量:path中加入C:Python27Scripts


         
        4.安装zope.interface

        可以使用第三步下载的setuptools来安装egg文件,现在也有exe版本,点击这里下载。

        5.安装Twisted

        Twisted是用Python实现的基于事件驱动的网络引擎框架,点击这里下载。

    备用地址:http://vdisk.weibo.com/s/yTKgWrhNCxDDM#_loginLayer_1480039489026

        6.安装pyOpenSSL

        pyOpenSSL是Python的OpenSSL接口,点击 这里下载。 
         
        7.安装win32py 
         
        提供win32api,点击 这里下载

        8.安装Scrapy

        终于轮到安装scrapy了,直接在cmd中输入easy_install scrapy回车即可。安装后在cmd命令行进行成功与否的验证如图所示。

        

        安装完成,开始使用吧!

  • 相关阅读:
    linux process management
    intel edison with grove lcd
    ODBC、OLEDB和ADO关系
    在线并使用数据库来推断在线
    大约laravel错误的解决方案
    cocos2dx-3.1加入cocosStudio参考库 libCocosStudio
    【甘道夫】基于Mahout0.9+CDH5.2执行分布式ItemCF推荐算法
    格式字符串分配stl::string
    希望开发一个指针的元素
    [Now] Configure secrets and environment variables with Zeit’s Now
  • 原文地址:https://www.cnblogs.com/zipon/p/6099007.html
Copyright © 2011-2022 走看看