zoukankan      html  css  js  c++  java
  • Python之Scripy框架

    为什么要用到cmd界面 --- 在这里操作的是Scripy框架的指令,不是Python代码

    Parse --- Scripy的回调函数

    fiddler --- 用于爬取JS存储数据的页面

    项目:

      1. 创建一个scrapy项目

        cmd--进入scrapy.exe目录--scrapy startproject TestScrapy

           项目将和scrapy.exe在同一个目录下

      2. 创建爬虫,一个项目可以有多个爬虫

          在TestScrapy项目的spiders目录下,可以创建自己的spider

          (或者用Scrapy命令:scrapy genspider -t basic MySpider dangdang.com 然后把生成的.py复制到/TestScrapy/TestScrapy/spiders/下)

      3然后用pyCharm打开项目

      4. 运行Scripy框架  在cmd中,用......scrapy crawl DangSpider [--nolog]

      注意:  spider爬取到的Item是字典型, 字典型可以直接存入到MongoDB,但是不能存入到关系数据库

         固定的配置信息,都可以写在setting.py文件里

  • 相关阅读:
    hdu 2295 DLX
    hdu 4714 树形DP
    hdu 4711 动态规划
    hdu 3656 DLX
    hust 1017 DLX
    hdu 3938 并查集
    hdu 3652 打表
    poj 2152 树形DP
    洛谷P1266速度限制
    洛谷P1841重要的城市
  • 原文地址:https://www.cnblogs.com/lynhou/p/8398124.html
Copyright © 2011-2022 走看看