zoukankan      html  css  js  c++  java
  • Scrapy框架:利用conda安装、创建爬虫项目

    1.scrapy框架利用conda安装

    conda install Scrapy

    win+r打开cmd命令窗口

    之后在按y 表示允许安装相关的依赖库(下载速度慢的话也可以借助镜像源),安装的前提是安装了anaconda作为python ,  

     测试scrapy是否安装成功,在窗口输入scrapy回车

    2.创建scrapy项目的过程 

    打开pycharm的Terminal终端,cd到想要创建项目的目录,输入命令scrapy startproject ScrapyTest,就可以创建名为scrapy startproject ScrapyTest项目,看到如下的信息表示成功创建scrapy项目:

    scrapy startproject ScrapyTest

    3.利用pycharm打开刚才创建的项目

    项目结构图:

        1)scrapy.cfg 框架的基本设置

        2)settings.py 用户的相关设置

        3)spiders 用户自己实现的spider文件夹

        4)items.py 数据条目, items用于存储字段的定义。即爬取的内容存与item类中

        5)pipelines 管道 pipeline文件用于存储到文件中。

  • 相关阅读:
    e家modem共享上网方法
    千里奔丧
    解决dbvisualizer乱码问题Ubuntu手记之软件
    目录结构Ubuntu手记之系统配置
    javaFTP编程
    JAVA运行环境设置
    VPNCUbuntu手记之软件
    清洗节气门
    IPMSGUbuntu手记之软件
    AIX下的JAVA线程监视
  • 原文地址:https://www.cnblogs.com/luckyplj/p/13023726.html
Copyright © 2011-2022 走看看