zoukankan      html  css  js  c++  java
  • Python3---标准库---urllib

    前言

    该文章主要说明Python3 标准库urllib的使用。

    修改时间:20191216

    修改时间:20191217

    修改时间:20191218

    添加urllib.parse.urlencode,urllib.request.Request方法解释

    天象独行

    0X01;urllib作用是什么?

      urllib是Python3的一个内置标准库,主要用来进行http请求。其中主要包含四个常见模块。分别是:request,error,parse,robotparser。request模块功能提供一个基本的请求功能,来模拟http请求。error异常处理模块,主要功能是在出现错误的时候可以捕获异常。parse工具模块,提供了URL处理的方法,比如:拆分,解析,合并等。robotparser模块主要用来识别网站的robots.txt文件。

    0X02;urllib.request模块

      urllib.request模块当中常见使用方法有:

      A;urlopen(url,data,timeout) 作用打开一个url方法,返回一个文件对象HttpResponse,然后可以进行类似文件对象的操作。

    例如:基本使用方法。

       B;urllib.request.urlretrieve(url,filename=None,reporthook=None,data=None)作用下载定制的url内容到本地。

      url:外部或者本地url。

      filename:指定了保存到本地的路径(如果未指定该参数,urllib会生成一个临时文件来保存数据)。

      reporthook:是一个回调函数,当连接上服务器,以及相应的数据块传输完毕的时候会触发该回调

      data:指post到服务器的数据。该方法返回一个包含两个元素的元组(filename,headers),filename表示保存到本地的路径,header表示服务器的响应头。

      基本使用:

      C;Request()方法作用是发送一个请求,常见操作是构建HTTP请求。

    举例:构建请求头:

    0X03;urllib.error模块

      urllib.error模块作用是可以接收urllib.request产生的异常。其中包含了两个方法。即URLError,HTTPError。

      A;URLError举例

      B;HTTPError举例:

     0X04;urllib.parse模块

      A;urlparse()方法作用:将URL分解为六个组件分别是:协议,位置,路径,参数,查询,片段

    举例:

      B;urlsplit方法类似于urlparse,区别在于urlsplit没有返回“params”

      C;urlunparse(parts)方法作用,从urlparse()返回的元组元素构造一个URL。

    举例:

      D;urlunsplit方法与urlunparse类似。

      E;parse_qs和parse_qsl

      urllib.parse.parse_qs返回字典

      urllib.parse.parse_qsl返回列表

    举例:

      F;urljoin(base,url,allow_fragments=True)作用组合两个URL.。注释:url一定需要完整的url。

    举例:

      G;quout()方法,作用URL编码

      H;unquote()方法作用url解码

    举例:

      

      I;urlencode(data)作用针对一个字典data,将字典编码处理并且拼接为query_string。

    举例:

     

    0X0X;补充说明:

      A;HttpRequest类是一个封闭HTTP提交信息的类型,而封闭HTTP输出信息的类型就是HttpResponse类,使用HttpResponse类可以实现三种类型的输出,即文本,URL,二进制流.HTTPResposne 类型的对象,它主要包含的方法有 read()、readinto(),getheader(name)、getheaders()、fileno() 等方法和 msg、version、status、reason、debuglevel、closed 等属性。

      read() 读取相应内容,内容是字节类型

      geturl() 获取请求url

      getheaders() 获取请求头信息,列表里面有元组

      getcode() 获取状态码

      readlines() 按行读取,返回列表,都是字节类型

    详情参考下面链接:https://www.iteye.com/blog/guoying252166655-2041373

      B;try...except 在程序出现异常处理是使用。格式 try: 执行代码 except:发生异常时执行的代码。详情参考下面链接:https://www.runoob.com/python3/python3-errors-execptions.html

      C;__main__是Python的内置变量,用于代指当前模块。详细参考下面链接:https://www.cnblogs.com/chenhuabin/p/10118199.html

      D;字典是另一种可变容器模型,且可存储任意类型的对象。

      E;列表是最常见的Python数据类型,它可以作为一个方括号内的逗号分隔值出现。

  • 相关阅读:
    [转] Akka实战:构建REST风格的微服务
    [转] Node.js的线程和进程
    [转] Spring Integration 系统集成
    NodeJS使用SSL证书
    Tomcat SSL证书安装配置
    [转]【NODE】用WS模块创建加密的WS服务(WSS)
    [转] Spring Boot实战之Filter实现使用JWT进行接口认证
    [转] 前后端分离之JWT用户认证
    [转] 使用 Java8 Optional 的正确姿势
    [转] SpringBoot RESTful 应用中的异常处理小结
  • 原文地址:https://www.cnblogs.com/aaron456-rgv/p/12051754.html
Copyright © 2011-2022 走看看