zoukankan      html  css  js  c++  java
  • requests的常用的方法和bs4的常用的方法:

    requests下载

     pip install requests
     pip install -i https://doubanio.com/simple/ requests

    常用的方法

    响应

     import requests
     
     requests.get()
     requests.post()
     r = requests.request(method='get', url='')
     r.status_code
     r.encoding   # 查看编码
     r.encoding = "GBK"    # 指定编码
     r.content  # 字节类的数据,比如图片
     r.iter_content(chunk_size)
     r.text   # 文本类型的数据
     r.json   # 获取json类型的返回值,注意,如果接口不是json类型的返回,会报错
     r.cookies   # 获取cookies
     r.cookies.get_dict   # 返回字典类型的cookies
     r.url    # 请求的url
     r.headers

    请求

     import requests
     from fake_useragent import UserAgent
     r = requests.request(
         method='get',
         url='',
         params={"k1":"v1"},  # 适用于get请求, 也可以将参数写在URL上
         data={"user": "zhangkai"},   # 使用与post请求,带的参数
         json={"k1":"v1"}, # 适用于参数必须是json串的请求,一般用于post请求
         headers={"User-Agent":UserAgent().random},  # 为请求添加请求头
         cookies={"cookies": "xxweqasdqawe"}, # 携带cookies
         files={"file": open("a.txt", 'rb').read()}  # 上传文件
     )

     

    bs4

    下载

     pip install BeautifulSoup4
     from bs4 import BeautifulSoup   # 引入

    常用

     a = '<a href="https://wwww.baidu.com" class="xx">访问百度</a>'
     soup = BeautifulSoup(a, "html.parser")   # 其他解析器:lxml
     # 找一个标签,如果找到的标签有多个,取第一个
     soup.find(name="a", attrs={"class": "xx"})
     # 找所有的标签
     a_obj = souo.find_all(name="a")
     # 获取标签对象的文本
     a_obj.text
     # 获取标签对象的属性
     a_obj.get("属性名")

     

  • 相关阅读:
    Iaas/paas/saas 三种模式分别都是做什么?
    sender e
    xshell
    JDK 和JRE区别
    mongodb高级聚合查询
    MongoDB 官方文档中的 aggregate 例子当中的 $sum: 1 , 这里的 1 起什么作用?
    MySQL 当记录不存在时插入,当记录存在时更新
    html中跳转方法(含设定时间)
    处理分页
    Js弹出层,弹出框代码
  • 原文地址:https://www.cnblogs.com/zhang-da/p/12210188.html
Copyright © 2011-2022 走看看