zoukankan      html  css  js  c++  java
  • 自己的Scrapy框架学习之路

    开始自己的Scrapy 框架学习之路。

    一、Scrapy安装介绍

    参考网上资料,先进行安装

    使用pip来安装Scrapy

     在开始菜单打开cmd命令行窗口执行如下命令即可

    pip install Scrapy 

    安装过程可能会因为环境等问题出现终止,此时可以查看命令行显示提示信息,根据提示分析原因,从而解决问题。‘

    pip版本低的时候会提示无法安装

    执行 python -m pip install --upgrade pip

    执行完成后再执行

    pip install Scrapy 

    WIN10遇到的问题

    如上图提示:error:信息,发现安装前需要有Visual C++,而且他们也提供了下载地址,可以复制粘贴到地址栏,进行下载,并安装。

    如果地址栏输入链接跳转后提示404错误,可自己百度搜索 Microsoft Visual c++14.0 is required,进行下载安装;

    再次安装,如下图即可成功

     二、Scrapy入门教程

    1、在cmd中创建Scrapy项目工程。

    我的是在c:UsersluckyPycharmProjects

    在命令行,切换的自己的项目代码的工作空间下,执行如下命令

    scrapy startproject ScrapyTest

    有如下提示则表示创建成功

    2、 对应项目文件中新生成如下文件

    解析scrapy框架结构:

    • scrapy.cfg: 项目的配置文件。
    • tutorial/: 该项目的python模块。之后您将在此加入代码。
    • tutorial/items.py: 项目中的item文件。
    • tutorial/pipelines.py: 项目中的pipelines文件。
    • tutorial/settings.py: 项目的设置文件。
    • tutorial/spiders/: 放置spider代码的目录。

    我的win10没有scrapy.cfg项目配置文件

  • 相关阅读:
    C# 文件类的操作---删除
    C#实现Zip压缩解压实例
    UVALIVE 2431 Binary Stirling Numbers
    UVA 10570 meeting with aliens
    UVA 306 Cipher
    UVA 10994 Simple Addition
    UVA 696 How Many Knights
    UVA 10205 Stack 'em Up
    UVA 11125 Arrange Some Marbles
    UVA 10912 Simple Minded Hashing
  • 原文地址:https://www.cnblogs.com/pytest/p/10006951.html
Copyright © 2011-2022 走看看