zoukankan      html  css  js  c++  java
  • Scrapy中的Request和日志分析

    Scrapy.http.Request

    自动去重,根据url的哈希值,进行去重

    属性

    meta(dict)       在不同的请求之间传递数据,dict

    priority(int)      此请求的优先级(默认为0)

    dont_filter(boolean)  关闭自动去重

    errback(callable)    在处理请求时引发任何异常时将调用的函数

    flags(list)        发送给请求的标志,可用于日志记录或类似目的

    方法

    copy()     返回一个新的请求,该请求是此请求的副本

    replace()      返回一个更新对的request

    FormRequest

    scrapy框架内置了一个FormRequest类,它扩展了基类Request,具有处理HTML表单的功能

    post请求的时候,使用FormRequest将数据传入formdata参数即可

    日志使用

    LOG_FILE         日志输出文件,如果为None,就打印在控制台

    LOG_ENABLED        是否启用日志,默认True

    LOG_ENCODING          日期编码,默认utf-8

    LOG_LEVEL        日志等级,默认debug

    LOG_FORMAT       日志格式

    LOG_DATEFORMAT     日志日期格式

    LOG_STDOUT       日志标准输出,默认False,如果True所有标准输出都将写入日志中

    LOG_SHORT_NAMES     短日志名,默认为False,如果True将不输出组件名

    一般只在settings配置文件中添加

  • 相关阅读:
    修改apache的默认访问目录
    禁止浏览器直接访问php文件
    使用Apache Bench进行压力测试
    关于mysql(或MariaDB)中的用户账号格式
    单表查询
    CSS设计指南之一 HTML标记与文档结构
    SQL SERVER技术内幕之10 可编程对象
    SQL SERVER技术内幕之10 事务并发
    观察者模式
    中介者模式
  • 原文地址:https://www.cnblogs.com/jiyu-hlzy/p/11838518.html
Copyright © 2011-2022 走看看