zoukankan      html  css  js  c++  java
  • urllib2下载网页的三种方法

    1.最直接的方法

    #-*- coding: utf-8 -*-
    import urllib2
    #直接请求
    response = urllib2.urlopen('https://www.baidu.com')
    #获取状态码,如果是200,表示获取成功
    print response.getcode()
    print(response.read())
    View Code

    2.添加data、http header

    #-*- coding: utf-8 -*-
    import urllib2
    #创建request对象
    url = 'http://www.baidu.com'
    request = urllib2.Request(url)
    #添加数据
    request.add_data('a''1')
    
    #添加http的header
    request.add_header('User-Agent','Mozilla/5.0')
    #发送请求获取结果
    response = urllib2.urlopen(request)
    print(response.read())
    View Code

    3.添加特殊情景的处理器

    #-*- coding: utf-8 -*-
    import urllib2
    import cookielib
    #创建cookie容器
    cj = cookielib.CookieJar()
    #创建一个opener
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
    #给urllib2安装opener
    urllib2.install_opener(opener)
    #使用带有cookie的urllib2访问网页
    response = urllib2.urlopen('https://www.baidu.com')
    print(response.read())
    View Code
  • 相关阅读:
    1月5日学习记录||1月8日学习
    1.1学习记录|1.2日学习记录|1.3日
    RNA-seq数据为什么要去噪
    12.16日学习记录
    12.15学习记录
    transformer和bert简要学习
    关系抽取学习
    12.14周六学习记录
    12.5日学习记录
    12.4周三学习记录
  • 原文地址:https://www.cnblogs.com/XYJK1002/p/5313498.html
Copyright © 2011-2022 走看看