zoukankan      html  css  js  c++  java
  • Scrapy笔记

    ##安装scrapy框架

    1、安装scrapy:通过pip install scrapy即可

    2、如果在windows下,还需要安装pypiwin32

    如果不安装,那么以后运行scrapy 项目的时候就会报错。安装方式:pip install pypiwin32.

    3、如果在ubuntu下,还需要安装一些第三方库:sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

    ##创建项目和爬虫

    1、创建项目:scrapy startproject 【爬虫的名字】.

    2、创建爬虫:进行项目所在的路径,执行命令:scrapy genspider 【爬虫名字】【爬虫的域名】。注意爬虫名字和项目的名字不能一样。

    ##项目目录结构

    1、items.py:用来存放爬虫爬取下来数据的模型

    2、middlewars.py:用来存放各种中间件的文件

    3、pipelines.py:用来将items的模型存储到本地磁盘中

    4、settings.py :本爬虫的一些配置信息(比如请求头、多久发送一次请求、ip代理池)

    5、scrapy.py:项目的配置文件

    6、spiders包:以后所有的爬虫,都是存放到这个里面

  • 相关阅读:
    游戏 黑白棋
    题解 P2472 【[SCOI2007]蜥蜴】
    题解 P1682 【过家家】
    题解 P3153 【[CQOI2009]跳舞】
    题解 P2763 【试题库问题】
    题解 P1345 【[USACO5.4]奶牛的电信Telecowmunication】
    网络流----最大流
    Tarjan缩点
    C#之抽象类
    C#之深复制学习案例
  • 原文地址:https://www.cnblogs.com/hqd2008/p/8443242.html
Copyright © 2011-2022 走看看