zoukankan      html  css  js  c++  java
  • 爬虫开发python工具包介绍 (3)

    本文来自网易云社区

    作者:王涛

            :arg str url: URL to fetch
            :arg str method: HTTP method, e.g. "GET" or "POST"
            :arg headers: Additional HTTP headers to pass on the request
            :type headers: `~tornado.httputil.HTTPHeaders` or `dict`
            :arg body: HTTP request body as a string (byte or unicode; if unicode
               the utf-8 encoding will be used)
            :arg body_producer: Callable used for lazy/asynchronous request bodies.
               It is called with one argument, a ``write`` function, and should
               return a `.Future`.  It should call the write function with new           data as it becomes available.  The write function returns a           `.Future` which can be used for flow control.           Only one of ``body`` and ``body_producer`` may
               be specified.  ``body_producer`` is not supported on
               ``curl_httpclient``.  When using ``body_producer`` it is recommended           to pass a ``Content-Length`` in the headers as otherwise chunked
               encoding will be used, and many servers do not support chunked
               encoding on requests.  New in Tornado 4.0
            :arg str auth_username: Username for HTTP authentication
            :arg str auth_password: Password for HTTP authentication
            :arg str auth_mode: Authentication mode; default is "basic".
               Allowed values are implementation-defined; ``curl_httpclient``
               supports "basic" and "digest"; ``simple_httpclient`` only supports
               "basic"
            :arg float connect_timeout: Timeout for initial connection in seconds,
               default 20 seconds
            :arg float request_timeout: Timeout for entire request in seconds,
               default 20 seconds
            :arg if_modified_since: Timestamp for ``If-Modified-Since`` header
            :type if_modified_since: `datetime` or `float`
            :arg bool follow_redirects: Should redirects be followed automatically
               or return the 3xx response? Default True.
            :arg int max_redirects: Limit for ``follow_redirects``, default 5.
            :arg str user_agent: String to send as ``User-Agent`` header
            :arg bool decompress_response: Request a compressed response from
               the server and decompress it after downloading.  Default is True.
               New in Tornado 4.0.
            :arg bool use_gzip: Deprecated alias for ``decompress_response``
               since Tornado 4.0.
            :arg str network_interface: Network interface to use for request.           ``curl_httpclient`` only; see note below.
            :arg collections.abc.Callable streaming_callback: If set, ``streaming_callback`` will
               be run with each chunk of data as it is received, and
               ``HTTPResponse.body`` and ``HTTPResponse.buffer`` will be empty in
               the final response.
            :arg collections.abc.Callable header_callback: If set, ``header_callback`` will
               be run with each header line as it is received (including the           first line, e.g. ``HTTP/1.0 200 OK
    ``, and a final line
               containing only ``
    ``.  All lines include the trailing newline
               characters).  ``HTTPResponse.headers`` will be empty in the final
               response.  This is most useful in conjunction with
               ``streaming_callback``, because it's the only way to get access to
               header data while the request is in progress.
            :arg collections.abc.Callable prepare_curl_callback: If set, will be called with
               a ``pycurl.Curl`` object to allow the application to make additional
               ``setopt`` calls.
            :arg str proxy_host: HTTP proxy hostname.  To use proxies,
               ``proxy_host`` and ``proxy_port`` must be set; ``proxy_username``,
               ``proxy_pass`` and ``proxy_auth_mode`` are optional.  Proxies are
               currently only supported with ``curl_httpclient``.
            :arg int proxy_port: HTTP proxy port
            :arg str proxy_username: HTTP proxy username
            :arg str proxy_password: HTTP proxy password
            :arg str proxy_auth_mode: HTTP proxy Authentication mode;
               default is "basic". supports "basic" and "digest"
            :arg bool allow_nonstandard_methods: Allow unknown values for ``method``
               argument? Default is False.
            :arg bool validate_cert: For HTTPS requests, validate the server's
               certificate? Default is True.
            :arg str ca_certs: filename of CA certificates in PEM format,           or None to use defaults.  See note below when used with
               ``curl_httpclient``.
            :arg str client_key: Filename for client SSL key, if any.  See
               note below when used with ``curl_httpclient``.
            :arg str client_cert: Filename for client SSL certificate, if any.
               See note below when used with ``curl_httpclient``.
            :arg ssl.SSLContext ssl_options: `ssl.SSLContext` object for use in
               ``simple_httpclient`` (unsupported by ``curl_httpclient``).
               Overrides ``validate_cert``, ``ca_certs``, ``client_key``,           and ``client_cert``.
            :arg bool allow_ipv6: Use IPv6 when available?  Default is true.
            :arg bool expect_100_continue: If true, send the           ``Expect: 100-continue`` header and wait for a continue response           before sending the request body.  Only supported with
               simple_httpclient.
    
            .. note::            When using ``curl_httpclient`` certain options may be
                inherited by subsequent fetches because ``pycurl`` does            not allow them to be cleanly reset.  This applies to the            ``ca_certs``, ``client_key``, ``client_cert``, and
                ``network_interface`` arguments.  If you use these
                options, you should pass them on every request (you don't
                have to always use the same values, but it's not possible            to mix requests that specify these options with ones that            use the defaults).
    
            .. versionadded:: 3.1
               The ``auth_mode`` argument.
    
            .. versionadded:: 4.0
               The ``body_producer`` and ``expect_100_continue`` arguments.
    
            .. versionadded:: 4.2
               The ``ssl_options`` argument.
    
            .. versionadded:: 4.5
               The ``proxy_auth_mode`` argument.        """
            # Note that some of these attributes go through property setters
            # defined below.
            ...


    参数说明如下:


    <td style="border-bottom-color: rgb(204, 204, 204); border-bottom-style: solid; border-bottom- 1px; border-image-outset: 0; border-image-repeat: stretch; border-image-slice: 100%; border-image-source: none; border-image- 1; border-left-color: rgb(204, 204, 204); border-left-style: solid; border-left- 1px; border-right-color: rgb(204, 204, 204); border-right-style: solid; border-right- 1px; border-top-color: rgb(204, 204, 204); border-top-style: solid; border-to

    参数释义
    url目标url
    methodhttp方法,例:get,post等
    headers自定义http头,字典或tornado.httputil.HTTPHeaders 类型,
    bodyhttp请求体,类型字符串或者unicode(unicode,需要在头中指定unicode)
    auth_usernameHTTP认证用户名
    auth_passwordHTTP认证,密码
    auth_mode认证模式:默认basic,CurlAsyncHTTPClient支持 basic,digest, SimpleAsyncHTTPClien 支持 basic.
    connect_timeout连接超时时长,默认20s
    request_timeout连接成功后,完整的请求时长,默认20s
    if_modified_sinceHttp头中的 If-modified-since字段类型datetime or float
    follow_redirects是进行跳转还是返回3xx的应答,默认True,会跳转
    max_redirects最大的跳转次数,默认 5次
    user_agentUA
    decompress_response要求服务端返回一个压缩过的应答,下载完成后会执行解压缩
    use_gzip已经废弃了
    network_interface指定网络出接口,只有CurlAsyncHTTPClient 有效
    streaming_callback如果设置了,接收的每个数据块都会调用这个callback. 最后的应答中HTTPResponse.body 和 HTTPResponse.buffer 都是空的。 类型:collections.abc.Callable
    header_callback会遍历header中的每一行,和streaming_callback一起用,因为这是在请求处理过程中唯一访问header数据的方式 类型:collections.abc.Callable
    proxy_host代理主机名,仅 CurlAsyncHTTPClient支持 ,类型:字符串
    proxy_port代理主机端口号,类型:整型
    proxy_username代理认证用户名,根据实际情况填写,类型:字符串
    proxy_password代理认证密码,根据实际情况填写,类型:字符串
    proxy_auth_mode代理认证模式,支持basic,digest 类型:字符串,默认 basic
    validate_cert是否需要验证服务端证书,类型:bool 默认:True
    一条不起眼的分割线
    body_producer可以被用于延迟/异步请求体调用. 它可以被调用, 带有一个参数, 一个 write 函数, 并应该 返回一个 Future 对象. 它应该在新的数据可用时调用 write 函数. write 函数返回一个可用于流程控制的 Future 对象. 只能指定 body 和 body_producer 其中之一. body_producer 不被 curl_httpclient 支持. 当使用 body_producer 时, 建议传递一个 Content-Length 头, 否则将使用其他的分块编码, 并且很多服务断不支持请求的分块编码. Tornado 4.0 新增
    prepare_curl_callback如果设置, 将使用 pycurl.Curl 对象调用, 以允许应用程序进行额外的 setopt 调用。没有用过
    allow_nonstandard_methods支持未知的http方法,默认False
    ca_certsPEM格式的证书路径或者None. 注:因为Pycurl的原因,不能将指定此选项的请求与使用默认值的请求混用
    client_key客户端ssl key文件名
  • 相关阅读:
    spring boot 启动后执行初始化方法
    Linux CentOS 7 下 JDK 安装与配置
    Linux rpm 命令参数使用详解[介绍和应用]
    异常处理: 重载Throwable.fillInStackTrace方法已提高Java性能
    dubbo 配置属性
    centos7 操作防火墙
    springBoot 打包 dubbo jar包
    直播中聊天场景的用例分享
    解决在安装Fiddler4.6版本后,在手机上安装证书出现的问题解决方法
    系统调优方案思路分享
  • 原文地址:https://www.cnblogs.com/zyfd/p/9729545.html
Copyright © 2011-2022 走看看