beautifulsoup4

beautifulsoup4

官方文档

​ https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/。

参数

import requests  #导入requests模块
response = requests.get("https://www.autohome.com.cn/all/1/#liststart") #get发送请求
all_soup = BeautifulSoup(response.text, "html.parser")    #html.parser解析器
ul_obj = all_soup.find(name="ul", attrs={"class": 'article'})  #找到ul标签

response.encoding = 'gbk'  #指定编码格式
print(response.encodint)   #获取网页编码格式
print(response.status_code)   #200   #打印响应状态码
print(response.request)   #<PreparedRequest [GET]>  #获取请求方式
print(response.url)   #打印网络路由地址
print(response.text)   #获取html页面文本内容的数据
print(request.session())  #获取携带的session数据
print(request.cookies)    #requests_cookies <module 'requests.cookies' from 		'E:\Python\Python368\lib\site-packages\requests\cookies.py'>

print(response.cookies)    #<RequestsCookieJar[]>获取携带的cookies值
print(response.content)  #获取二进制类数据类型   如imp4  imp3  jpg  img等

搜索

​ BeautifulSoup 主要用来遍历子节点及子节点的属性，并提供了很多方法，比如获取 子节点、父节点、兄弟节点等，但通过实践来看，这些方法用到的并不多。我们主要用到的是从文档树中搜索出我们的目标。

​ 通过点取属性的方式只能获得当前文档中的第一个 tag，例如，soup.li。如果想要得到所有的<li> 标签，就需要用到 find_all()，find_all() 方法搜索当前 tag 的所有 tag 子节点，并判断是否符合过滤器的条件 find_all() 所接受的参数如下：

find_all( name , attrs , recursive , text , **kwargs )

按name搜索

​ 可以查找所有名字为 name 的 tag，字符串对象会被自动忽略掉。

>>> soup.find_all('b')
[<b>The Dormouse's story</b>]
>>> soup.find_all('a')
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

按 id 搜索

​ 如果文档树中包含一个名字为 id 的参数，其实在搜索时会把该参数当作指定名字 tag 的属性来搜索:

>>> soup.find_all(id='link1')
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

按 attr 搜索

​ 有些 tag 属性在搜索不能使用，比如 HTML5 中的 data-* 属性，但是可以通过 find_all() 方法的 attrs 参数定义一个字典参数来搜索包含特殊属性的 tag。其实 id 也是一个 attr：

>>> soup.find_all(attrs={'id':'link1'})
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

按 CSS 搜索

​ 按照 CSS 类名搜索 tag 的功能非常实用，但标识 CSS 类名的关键字 class 在 Python 中是保留字，使用 class 做参数会导致语法错误。因此从 Beautiful Soup 的 4.1.1 版本开始，可以通过 class_ 参数搜索有指定 CSS 类名的 tag:

>>> soup.find_all(class_='sister')
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]

string 参数

​ 通过 string 参数可以搜搜文档中的字符串内容。与 name 参数的可选值一样，string 参数接受字符串、正则表达式、列表、True。

>>> soup.find_all('a', string='Elsie')
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>]

recursive 参数

​ 调用 tag 的 find_all() 方法时，Beautiful Soup 会检索当前 tag 的所有子孙节点，如果只想搜索 tag 的直接子节点，可以使用参数 recursive=False。

find() 方法

​ 它与 find_all() 方法唯一的区别是 find_all() 方法的返回结果是值包含一个元素的列表，而 find() 方法只返回第一个匹配的结果

get_text() 方法

​ 如果只想得到 tag 中包含的文本内容，那么可以用 get_text() 方法，这个方法获取到 tag 中包含的所有文本内容。

>>> soup.find_all('a', string='Elsie')[0].get_text()
'Elsie'
>>> soup.find_all('a', string='Elsie')[0].string
'Elsie'