zoukankan      html  css  js  c++  java
  • urllib的实现---请求响应and请求头处理

    在python3中 urllib库和urilib2库合并成了urllib库。。
    其中urllib2.urlopen()变成了urllib.request.urlopen()
    urllib2.Request()变成了urllib.request.Request()

     1,实现一个完整的请求和响应模型

    import urllib
    #请求
    request = urllib.request.Request('https://www.baidu,com')
    #响应
    response = urllib.request.urlopen(request)
    html = response.read()
    print(html)
     

    post请求

    import urllib
    from urllib import parse
    from urllib import request
    
    
    url = 'https://www.xxx.com/login'
    postdata = {'username': 'qwe',
                'password': 'qwe123'
    
    }
    #info 需要被编码成urllib 能理解的格式
    data = parse.urlencode(postdata)
    req = request.Request(url,data)
    response = request.urlopen(req)
    html = response.read()

    2.请求头headers处理

    将上面的代码修改,设置一下请求头中的User-Agent域和Referer域信息

    User Agent中文名为用户代理,简称 UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

    HTTP Referer是header的一部分,当浏览器向web服务器发送请求的时候,一般会带上Referer,告诉服务器我是从哪个页面链接过来的,服务器基此可以获得一些信息用于处理。

    from urllib import parse
    from urllib import request
    
    
    url = 'https://www.xxx.com/login'
    url_agent = 'Mozilla/5.0(Macintosh;IntelMacOSX10.6;rv:2.0.1)Gecko/20100101Firefox/4.0.1'
    referer = 'http://www.xxxx.com/'
    postdata = {'username': 'qwe',
                'password': 'qwe123'
    
    }
    header = {'User-Agent': url_agent,'Referer': referer}
    #info 需要被编码成urllib 能理解的格式
    data = parse.urlencode(postdata)
    req = request.Request(url,data,header)
    response = request.urlopen(req)
    html = response.read()

    也可以使用add_header来添加修改如下

    from urllib import parse
    from urllib import request
    
    
    url = 'https://www.xxx.com/login'
    url_agent = 'Mozilla/5.0(Macintosh;IntelMacOSX10.6;rv:2.0.1)Gecko/20100101Firefox/4.0.1'
    referer = 'http://www.xxxx.com/'
    postdata = {'username': 'qwe',
                'password': 'qwe123'
    
    }
    #header = {'User-Agent': url_agent,'Referer': referer}
    #info 需要被编码成urllib 能理解的格式
    data = parse.urlencode(postdata)
    req = request.Request(url)
    req.add_header('User-Agent',url_agent)
    req.add_header('Referer',referer)
    req.data = data
    response = request.urlopen(req)
    html = response.read()

     

  • 相关阅读:
    Spring Boot 系列(九)数据层-集成Spring-data-jpa
    Spring Boot 系列(八)@ControllerAdvice 拦截异常并统一处理
    Spring Boot 系列(七)Swagger2-生成RESTful接口文档
    Spring Boot 系列(六)web开发-Spring Boot 热部署
    Spring Boot 系列(五)web开发-Thymeleaf、FreeMarker模板引擎
    Spring Boot 系列(四)静态资源处理
    查看oracle中表的索引
    freemarker模板加载TemplateLoader常见方式
    servlet的生命周期详解
    eclipse 自动创建web.xml
  • 原文地址:https://www.cnblogs.com/mrwuzs/p/8018190.html
Copyright © 2011-2022 走看看