zoukankan      html  css  js  c++  java
  • 洗礼灵魂,修炼python(59)--爬虫篇—httplib模块

    httplib

    1.简介

    同样的,httplib默认存在于python2,python3不存在:

    httplib是python中http协议的客户端实现,可以用来与 HTTP 服务器进行交互,支持HTTP和HTTPShttplib功能挺实用,也挺简单,不信的话,接着看

     

    2.方法/属性

     httplib的内容不是很多,也比较简单

     

    3.常用方法/属性解析

    httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] ):HTTPConnection类的构造函数(有没有发现和urllib.urlopen对象很像?),表示一次与服务器之间的交互,即请求/响应。

    • host:服务器ip或者url,如:www.baidu.com
    • port:端口号,默认值为80
    • strict:默认值为false, 表示在无法解析服务器返回的状态行时( status line),是否抛BadStatusLine 异常(最常见的: HTTP/1.0 200 OK )
    • timeout:超时时间

     

    对象HTTPConnection的方法

    HTTPConnection.request ( method , url [ , body [ , headers ]] )(这里是不是又很像urllib2.request):调用request 方法会向服务器发送一次请求

    • method:请求的方法,常用有方法有get 和post
    • url:请求的资源的url
    • body:提交到服务器的数据,必须是字符串(如果method 是”post” ,则可以把body 理解为html 表单中的数据)
    • headers:请求的http头

    HTTPConnection.connect():连接到Http服务器

    HTTPConnection.close():关闭与服务器的连接

    HTTPConnection.set_debuglevel ( level ):设置高度级别,参数level的默认值为0 ,表示不输出任何调试信息

    HTTPConnection.getresponse():表示服务器对客户端请求的http响应,返回的对象是HTTPResponse 的实例,下面提到

     

     

    对象httplib.HTTPResponse方法

     

    HTTPResponse.read([amt]):获取响应的消息体。如果请求的是一个普通的网页,那么该方法返回的是页面的html。可选参数amt表示从响应流中读取指定字节的数据。

     

    HTTPResponse.getheader(name[, default]):获取响应头

    • name表示头域(header field)
    • default在头域名不存在的情况下作为默认值返回

     

    HTTPResponse.getheaders():以列表的形式返回所有的头信息

     

    HTTPResponse.msg:获取所有的响应头信息

     

    HTTPResponse.version:获取服务器所使用的http协议版本,比如11表示http/1.110表示http/1.0

     

    HTTPResponse.status:获取响应的状态码,如:200

     

    HTTPResponse.reason:返回服务器处理请求的结果说明,多为”OK

     

    例:

    #coding=utf-8 
    import httplib  
    test=httplib.HTTPConnection('www.baidu.com',80,False)
    test.request('GET','/',headers={'Host': 'www.baidu.com',  
                                        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0',  
                                        'Accept': 'text/plain'}) 
    res = test.getresponse()  
    print 'version:%s'%res.version  
    print 'reason:%s'%res.reason  
    print 'status:%s'%res.status  
    print 'msg:%s'%res.msg  
    print 'headers:%s'%res.getheaders()  
     
    print res.read()  
    test.close()

     

     结果:

    其他方法和属性自己下去再测试了

     

    Httplib模块中还定义了一些常量

    Httplib. HTTP_PORT:值为80,表示默认的端口号为80

    Httplib.OK:值为200,表示请求成功返回

    Httplib. NOT_FOUND:值为404,表示请求的资源不存在

     

    可以通过httplib.responses 查询相关变量的含义

     

     其实有没有觉得httplib还相对挺简单的,我个人感觉比urllib功能多点,比urllib2简单。

    免责声明

    本博文只是为了分享技术和共同学习为目的,并不出于商业目的和用途,也不希望用于商业用途,特此声明。如果内容中测试的贵站站长有异议,请联系我立即删除

  • 相关阅读:
    索引的使用说明
    如何在Linux 发行版本CentOS安装Oracle
    GNU/Linux 初學之旅
    Oracle数据库监听配置(转)
    Linux学习笔记7用户建立密码设置及删除用户
    Linux学习笔记6ls命令
    linux vi命令使用
    生成1千万个随机串号9位英文字母
    郁闷的夏天
    网络爬虫
  • 原文地址:https://www.cnblogs.com/Eeyhan/p/7783392.html
Copyright © 2011-2022 走看看