zoukankan      html  css  js  c++  java
  • python的pyspider框架下爬虫

    1、将框架下载好之后,控制台运行pyspider

    2、浏览器打开http://localhost:5000

    3、创建项目

    页面区域介绍:

    整个页面分为两栏,左边是爬取页面预览区域,右边是代码编写区域。下面对区块进行说明:

    左侧绿色区域:这个请求对应的 JSON 变量,在 PySpider 中,其实每个请求都有与之对应的 JSON 变量,包括回调函数,方法名,请求链接,请求数据等等。

    绿色区域右上角Run:点击右上角的 run 按钮,就会执行这个请求,可以在左边的白色区域出现请求的结果。

    左侧 enable css selector helper: 抓取页面之后,点击此按钮,可以方便地获取页面中某个元素的 CSS 选择器。

    左侧 web: 即抓取的页面的实时预览图。

    左侧 html: 抓取页面的 HTML 代码。

    左侧 follows: 如果当前抓取方法中又新建了爬取请求,那么接下来的请求就会出现在 follows 里。

    左侧 messages: 爬取过程中输出的一些信息。

    右侧代码区域: 你可以在右侧区域书写代码,并点击右上角的 Save 按钮保存。

    右侧 WebDAV Mode: 打开调试模式,左侧最大化,便于观察调试。

    4、接下来便是使用。

  • 相关阅读:
    MySQL 简单查询(实验回顾)
    PicGo + Gitee 创建图床,Typora竟还有这种功能
    SQL 条件判断
    django ORM中的复选MultiSelectField的使用
    with的用法
    django update-or-create的用法
    获取异常文件
    支付宝支付
    单例模式创建
    数据类模型
  • 原文地址:https://www.cnblogs.com/webgiser/p/7798634.html
Copyright © 2011-2022 走看看