学习requests_html

一、获取页面上的所有链接。

from requests_html import HTMLSession

session=HTMLSession()
r=session.get('https://news.baidu.com/')
#获取页面上的所有链接
all_links=r.html.links
print(all_links)
#获取页面上的所有链接，以绝对路径的方式
all_absolute_links=r.html.absolute_links
print(all_absolute_links)

二、获取页面上的所有标题及其链接

from requests_html import HTMLSession

session=HTMLSession()

r=session.get('https://www.cnblogs.com/')

news=r.html.find('#post_list > div:nth-child(n) > div.post_item_body > h3 > a')

for new in news:
    print(new.text)
    print(new.absolute_links)

 三、通过css选择器选取一个Element对象

>>> about = r.html.find('#about', first=True)

 四、获取一个Element对象内的文本内容

>>> print(about.text)

 五、获取一个Element对象的所有属性attributes

>>> about.attrs
{'id': 'about', 'class': ('tier-1', 'element-1'), 'aria-haspopup': 'true'}

 六、渲染出一个Element对象的HTML内容

>>> about.html