zoukankan      html  css  js  c++  java
  • Python+Scrapy

    准备做一个爬虫,看了一下Python比较合适,花了一天时间学了一下语法,又找了一下有专门的爬虫框架Scrapy。以下是学习过程。

    1. 安装Scrapy

      中文说明:http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/install.html

        Required:

            (1) Python2.7。

            (2) lxml.

           这个中直接有各种版本的lxml,包括windows中的exe格式的。https://pypi.python.org/simple/lxml/

           安装完后在Python IDLE 中通过"import lxml"试试,如果没有报错,那就是安装好了!

       (3) OpenSSL

           参看平台安装指南。其中需要将C:python27Scripts  C:python27 添加到系统路径中。而我的Python文件夹中没有Script文件夹,看了一下发现是easy_install相关的内容。直接安装setuptools即可自动生成Script文件夹。

          Tips:注意路径跟自己安装的路径相同,不一定跟此处列出来的一致。

        其他python的包按照平台安装指南就可以了。  

      直接通过在cmd中输入“easy_install Scrapy” 就自动安装Scrapy了。

    在运行的过程中发现,还需要安装service_identity。具体参见:http://blog.csdn.net/niying/article/details/27103081

  • 相关阅读:
    高级开发必须理解的Java中SPI机制
    希尔排序--python
    SpringContextAware使用详解
    visio professional 2013 密钥
    二分查找--python
    [Oracle]单行字符函数
    [Oracle]sqlplus调整列宽
    [Oracle]MacOS sqlplus上下选择命令
    [Oracle]开启SCOTT账户
    [Oracle]Macos 安装Oracle Client 11g 11.2.0.4
  • 原文地址:https://www.cnblogs.com/bore3601/p/3788339.html
Copyright © 2011-2022 走看看