zoukankan      html  css  js  c++  java
  • 常用的第三方模块 requests url

    我们已经讲解了Python内置的urllib模块,用于访问网络资源。但是,它用起来比较麻烦,而且,缺少很多实用的高级功能。

    更好的方案是使用requests。它是一个Python第三方库,处理URL资源特别方便。

    安装requests

    如果安装了Anaconda,requests就已经可用了。否则,需要在命令行下通过pip安装:

    $ pip install requests
    

    如果遇到Permission denied安装失败,请加上sudo重试。

    使用requests

    要通过GET访问一个页面,只需要几行代码:

    >>> import requests
    >>> r = requests.get('https://www.douban.com/') # 豆瓣首页
    >>> r.status_code
    200
    >>> r.text
    r.text
    '<!DOCTYPE HTML>
    <html>
    <head>
    <meta name="description" content="提供图书、电影、音乐唱片的推荐、评论和...'
    

    对于带参数的URL,传入一个dict作为params参数:

    >>> r = requests.get('https://www.douban.com/search', params={'q': 'python', 'cat': '1001'})
    >>> r.url # 实际请求的URL
    'https://www.douban.com/search?q=python&cat=1001'
    

    requests自动检测编码,可以使用encoding属性查看:

    >>> r.encoding
    'utf-8'
    

    无论响应是文本还是二进制内容,我们都可以用content属性获得bytes对象:

    >>> r.content
    b'<!DOCTYPE html>
    <html>
    <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
    ...'
    

    requests的方便之处还在于,对于特定类型的响应,例如JSON,可以直接获取:

    >>> r = requests.get('https://query.yahooapis.com/v1/public/yql?q=select%20*%20from%20weather.forecast%20where%20woeid%20%3D%202151330&format=json')
    >>> r.json()
    {'query': {'count': 1, 'created': '2017-11-17T07:14:12Z', ...
    

    需要传入HTTP Header时,我们传入一个dict作为headers参数:

    >>> r = requests.get('https://www.douban.com/', headers={'User-Agent': 'Mozilla/5.0 (iPhone; CPU iPhone OS 11_0 like Mac OS X) AppleWebKit'})
    >>> r.text
    '<!DOCTYPE html>
    <html>
    <head>
    <meta charset="UTF-8">
     <title>豆瓣(手机版)</title>...'
    

    要发送POST请求,只需要把get()方法变成post(),然后传入data参数作为POST请求的数据:

    >>> r = requests.post('https://accounts.douban.com/login', data={'form_email': 'abc@example.com', 'form_password': '123456'})
    

    requests默认使用application/x-www-form-urlencoded对POST数据编码。如果要传递JSON数据,可以直接传入json参数:

    params = {'key': 'value'}
    r = requests.post(url, json=params) # 内部自动序列化为JSON
    

    类似的,上传文件需要更复杂的编码格式,但是requests把它简化成files参数:

    >>> upload_files = {'file': open('report.xls', 'rb')}
    >>> r = requests.post(url, files=upload_files)
    

    在读取文件时,注意务必使用'rb'即二进制模式读取,这样获取的bytes长度才是文件的长度。

    post()方法替换为put()delete()等,就可以以PUT或DELETE方式请求资源。

    除了能轻松获取响应内容外,requests对获取HTTP响应的其他信息也非常简单。例如,获取响应头:

    >>> r.headers
    {Content-Type': 'text/html; charset=utf-8', 'Transfer-Encoding': 'chunked', 'Content-Encoding': 'gzip', ...}
    >>> r.headers['Content-Type']
    'text/html; charset=utf-8'
    

    requests对Cookie做了特殊处理,使得我们不必解析Cookie就可以轻松获取指定的Cookie:

    >>> r.cookies['ts']
    'example_cookie_12345'
    

    要在请求中传入Cookie,只需准备一个dict传入cookies参数:

    >>> cs = {'token': '12345', 'status': 'working'}
    >>> r = requests.get(url, cookies=cs)
    

    最后,要指定超时,传入以秒为单位的timeout参数:

    >>> r = requests.get(url, timeout=2.5) # 2.5秒后超时
  • 相关阅读:
    2013百度轻应用巡讲沙龙上海站
    xcode自动打ipa包脚本 资料
    Xcode 自动对齐 插件
    Lable中添加链接文字。。。各种操作 都能满足。简单易用【NIAttributedLabel】
    XMPP 安装ejabberd 搭建服务器环境
    git 终端命令行工具(忽略大小写,很好用)
    IOS团队开发之——CocoaPods 第三方库管理工具
    XCode 调试方法 (很全 很有用)
    模块化设计-iOS团队协作开发 v1.0
    淘宝技术部(ios 优化方案)
  • 原文地址:https://www.cnblogs.com/wutaotaosin/p/9999511.html
Copyright © 2011-2022 走看看