zoukankan      html  css  js  c++  java
  • python3爬虫初探(二)之requests

      关于请求网页,不得不提requests这个库,这是爬虫经常用到的一个第三方库,用pip安装即可。

    requests用法很多,这里只写一些基础的,其他高级功能可参考官方文档。

    import requests
    
    url = 'http://www.baidu.com'
    #这里用get方法用来请求网页,其他还有post等方法来请求网页
    data = requests.get(url)
    
    print(data)
    #<Response [200]>
    
    print(data.text)#这里的 .text 就等同于上一篇中的 read()
    #此时同样打印出网页源码
    #<!DOCTYPE html><!--STATUS OK--><html><head><meta http-equiv="content-type" content="text/html;charset=utf-8"><meta http-equiv="

      关于requests还有一些其他用法对我们已有的爬虫程序也很有用。

    code = data.encoding#获取页面的编码方式
    print(code)
    #utf-8
    
    page_status = data.status_code#获取状态码,检查是否请求成功
    print(page_status)
    #200

      这些是requests的基础用法,爬虫开始掌握这些简单的用法就可以啦。后面还会继续对requests进行总结。

  • 相关阅读:
    【u244】山地考察
    【u246】卫星照片
    【z08】乌龟棋
    【22.95%】【hdu 5992】Finding Hotels
    【t048】水流
    【b601】能量项链
    【b702】字符串的展开
    【a903】石子归并
    【9915】乘积最大
    JavaEE(24)
  • 原文地址:https://www.cnblogs.com/buzhizhitong/p/5608268.html
Copyright © 2011-2022 走看看