zoukankan      html  css  js  c++  java
  • 爬虫的概述以及使用(request发送请求)

    一、使用request发送请求

           安装:pip install requests(cmd命令行下执行)

    二、requests的基本使用

      import requests

      url = "http://www.baidu.com"
      res = requests.get(url)

      print(res.encoding)
      print(res.headers) #里面如果没有Content-Type,encoding=utf-8 ,否则如果charset,就以设置为准,否则就是ISO-8859-1

      print(res.url)

      运行结果:

           print(res.text)是打印内容如果不设置encoding = "utf-8"就会有乱码,反之设置了就不会出现乱码了。

     三、添加Headers来进行反爬

      import requests

      url = "http://www.dianping.com"

           #下面的是开发者模式下百度的User-Agent
      header = {
      "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Safari/537.36"
      }
      res = requests.get(url,headers=header)

      print(res.encoding)
      print(res.headers)
      print(res.url)
      print(res.text)
      print(res.status_code)

    四、总结

      requests请求和urllib请求方式大同小异,都是获取网站信息的请求方式。

  • 相关阅读:
    顺序查找
    折半查找
    KMP
    php长时间的脚本,报502
    AcWing 27. 数值的整数次方
    acwing 25. 剪绳子
    Best Cow Line <挑战程序设计竞赛> 习题 poj 3617
    acwing 23. 矩阵中的路径
    AcWing 34. 链表中环的入口结点
    AcWing 33. 链表中倒数第k个节点
  • 原文地址:https://www.cnblogs.com/renleiblog/p/12587848.html
Copyright © 2011-2022 走看看