zoukankan      html  css  js  c++  java
  • Python -- Scrapy 框架简单介绍(Scrapy 安装及项目创建)

    Python -- Scrapy 框架简单介绍

    最近在学习python 爬虫,先后了解学习urllib、urllib2、requests等,后来发现爬虫也有很多框架,而推荐学习最多就是Scrapy框架了,所以这里我也小试牛刀一下。

    开始自己的Scrapy 框架学习之路。

    一、Scrapy安装介绍

    参考网上资料,先进行安装

    使用pip来安装Scrapy

     在命令行窗口执行如下命令即可

    pip install Scrapy 

    安装过程可能会因为环境等问题出现终止,此时可以查看命令行显示提示信息,根据提示分析原因,从而解决问题。‘

    win7遇到问题

    如上图提示:error:信息,发现安装前需要有Visual C++,而且他们也提供了下载地址,可以复制粘贴到地址栏,进行下载,并安装。

    再次安装,如下图即可成功

     二、Scrapy入门教程

    1、在cmd中创建Scrapy项目工程。

    在命令行,切换的自己的项目代码的工作空间下,执行如下命令

    scrapy startproject ScrapyTest

    有如下提示则表示创建成功

    2、 对应项目文件中新生成如下文件

    解析scrapy框架结构:

    • scrapy.cfg: 项目的配置文件。
    • tutorial/: 该项目的python模块。之后您将在此加入代码。
    • tutorial/items.py: 项目中的item文件。
    • tutorial/pipelines.py: 项目中的pipelines文件。
    • tutorial/settings.py: 项目的设置文件。
    • tutorial/spiders/: 放置spider代码的目录。

    本想继续深入介绍,想了想这里还是简单做安装介绍吧,毕竟后面还有很多内容需要学习的。

    具体实例可以参考下面介绍

    Python Scrapy 爬虫框架实例(一)

  • 相关阅读:
    PVE6.3去订阅
    帝国CMS灵动标签当天更新的日期显示红色其他颜色变成灰色
    灵动标签实现循环子栏目数据——实现 循环子栏目数据标签 (listsonclass)的效果
    帝国cms灵动标签实现循环子栏目数据
    帝国cms常用灵动标签
    51nod1847 奇怪的数学题
    CTS2019 氪金手游
    CTS2019 重复
    UR #5 怎样跑得更快
    AGC034 F
  • 原文地址:https://www.cnblogs.com/BlueSkyyj/p/7663607.html
Copyright © 2011-2022 走看看