zoukankan      html  css  js  c++  java
  • 网络请求 Requests

    网络请求 Requests

    url: 就是需要请求,并进行下一步处理的url
    callback: 指定该请求返回的Response,由那个函数来处理。
    method: 一般不需要指定,使用默认GET方法请求即可
    headers: 请求时,包含的头文件。一般不需要。内容一般如下:使用 urllib2 自己写过爬虫的肯定知道
    Host: media.readthedocs.org
    User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0
    Accept: text/css,*/*;q=0.1
    Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
    Accept-Encoding: gzip, deflate
    Referer: http://scrapy-chs.readthedocs.org/zh_CN/0.24/
    Cookie: _ga=GA1.2.1612165614.1415584110;
    Connection: keep-alive
    If-Modified-Since: Mon, 25 Aug 2014 21:59:35 GMT
    Cache-Control: max-age=0
    meta: 比较常用,在不同的请求之间传递数据使用的。字典dict型
    request_with_cookies = Request(url="http://www.example.com",
    cookies={'currency': 'USD', 'country': 'UY'},
    meta={'dont_merge_cookies': True})
    encoding: 使用默认的 'utf-8' 就行。
    dont_filter: indicates that this request should not be filtered by the scheduler.
    This is used when you want to perform an identical request multiple times,
    to ignore the duplicates filter. Use it with care, or you will get into crawling loops.
    Default to False.
    errback: 指定错误处理函数

  • 相关阅读:
    控件属性大全(持续更新)
    STM32F0使用LL库实现UART接收
    STM32F0 LL库IIC第二地址配置错误
    C# 抽象类小谈
    DevExpress 动态换肤
    DevExpress ChartControl大数据加载时有哪些性能优化方法
    Devexpress WPF ChartControl 多Y轴
    Lambda表达式的使用
    Prism--MVVM 之Command
    WPF Toolkit Chart--动态换列
  • 原文地址:https://www.cnblogs.com/guozepingboke/p/10774099.html
Copyright © 2011-2022 走看看