zoukankan      html  css  js  c++  java
  • Scrapy中response属性以及内容提取

    一.属性

    url :HTTP响应的url地址,str类型

    status:HTTP响应的状态码, int类型

    headers :HTTP响应的头部, 类字典类型, 可以调用get或者getlist方法对其进行访问

    body:HTTP响应正文, bytes类型

    text:文本形式的HTTP响应正文, str类型

    response.text = response.body.decode(response.encoding)

    encoding:HTTP响应正文的编码

    reqeust:产生该HTTP响应的Reqeust对象

    meta:即response.request.meta, 在构造Request对象时, 可将要传递给响应处理函数的信息通过meta参数传入, 响应处理函数处理响应时, 通过response.meta将信息提取出来

    selector:Selector对象用于在Response中提取数据使用下面详细将,主要是 xpath,css取值之后的处理

    xpath(query):下面详细讲解

    css(query) :下面详细讲解

    urljoin(url) :用于构造绝对url, 当传入的url参数是一个相对地址时, 根据response.url计算出相应的绝对url.

    二.Selector对象

    • Selector 对象和SelectorList对象都有以下几种方法。

    • extract() 返回选中内容的Unicode字符串

    • re("正则表达式") 正则提取

    • extract_first()(SelectorList独有)

      返回列表中的第一个元素内容

    • re_first()(SelectorList独有)

      返回列表中的第一个元素内容

    三.CSS

    response.css('css选择器')返回值是Selector对象

    获取一个

    response.css('css选择器').extract_first() 
    

    获取全部

    response.css('css选择器').extract()
    

    获取其中某个属性

    response.css('css选择器::attr(属性名)').extract()
    

    只要标签里的文本

    (response.css('css选择器::text').extract()
    

    四.xpath

    response.css('xpath选择器')返回值是Selector对象

  • 相关阅读:
    二叉树学习随笔
    结构体初始化中的数组赋值
    C和FORTRAN的快速傅里叶/余弦/正弦变换(Fast Fourier/Cosine/Sine Transform)开源库分享
    Java简单的数组用法尝试,和C语言很不一样
    中位数( 优先队列较优处理 )
    单调队列 数组写法qwq
    P1886 滑动窗口
    Sicily 2014. Dairy Queen
    P3385 【模板】负环
    [USACO06DEC]虫洞Wormholes (负环模板)
  • 原文地址:https://www.cnblogs.com/pythonywy/p/11964082.html
Copyright © 2011-2022 走看看