zoukankan      html  css  js  c++  java
  • 爬虫-----模块

    爬虫所需要的模块:

      requests:

        requetes是使用Apache2 licensed的许可证,基于Python开发的http库。

        在Python内置模块的基础上进行的高度封装,从而使得Python进行网络请求时,变的好

        用,使用requests可以轻易得完成浏览器的任何操作。  

        

        1. get请求:   get请求分为有参和无参。

          无参:

          import requests

          response = requests.get("想要get获取的网页url")

          response.encoding = "需要转义的字符编码"

          print(response.text)

          有参:

          import requests

          payload = {"key1":"value1","key2":"value2"}

          response = requests.get("想要get获取的网页url",params=payload)

          response.encoding = "需要转义的字符编码"

          print(response.text)

          

        2.post请求:     

          import requests

          payload = {"key1":"value1","key2":"value2"}

          response = requests.post("想要post获取的网页url",data=payload)

          response.encoding = "需要转义的字符编码"

          print(response.text)

          

          #发送请求头和数据实例

          import requests

          import json

          payload = {"some":"data"}

          headers = {"content-type":"application/json"}

          response = requests.post("想要post获取的网页url",data=json.dumps(payload),

                      headers=headers)

          response.encoding = "需要转义的字符编码"

          print(response.text)

        3. 其他请求;

          requests.get(url, params=None**kwargs)

          requests.post(url, data=None, json=None**kwargs)
          requests.put(url, data=None**kwargs)
          requests.head(url, **kwargs)
          requests.delete(url, **kwargs)
          requests.patch(url, data=None**kwargs)
          requests.options(url, **kwargs)
     
          # 以上方法均是在此方法的基础上构建
          requests.request(method, url, **kwargs)

          

      BeautifulSoup:

      re:

  • 相关阅读:
    关于技术开发部员工培训文稿
    关于CLR、CIL、CTS、CLS、CLI、BCL和FCL
    MSIL(IL)百科
    汇编百科
    exe文件百科
    解释一下.net平台的语言无关性和语言继承性
    关于视频流媒体服务器的学习记录
    Ubuntu18.04的下载与安装(全过程纪录)
    记主板的南桥芯片和北桥芯片作用及区别(“干南桥”)
    我的Java资料小栈-START
  • 原文地址:https://www.cnblogs.com/george92/p/7402849.html
Copyright © 2011-2022 走看看