from lxml import etree
text ="""
这里是通过requests库的get方法或post方法获取的信息
"""
html = etree.HTML(text) #传入验证参数text,实例化出来一个html的对象
result = etree.tostring(html)#把HTML类实例化的对象传入进去,调用tostring()方法输出修正后的HTML
代码,但是结果是bytes类型。
print(result.decode('utf-8'))#或 str(result,encoding=‘utf-8’)
直接读取文本文件进行解析
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser()) #test.html是html文件,etree.HTMLParser(),解析器
result = etree.tostring(html)
print(result.decode('utf-8'))
具体使用;
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li') 选取所有的li节点,是一个列表的形式
print(result)
print(result[0]) #获取一个对象
其中/用于获取直接子节点,//用于获取子孙节点。
文本获取
用xpath中的text()方法获取节点中的文本。
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li[@class="item-0"]/text()')#这里解释这句匹配是什么意思,选取当前文档所有属性
class的值等于item-0的li标签里面的文本内容
print(result)
'//li[@class="item-0"]/a/text()' a的文本内容
其实@符号也能获取
from lxml import etree
html = etree.parse('./test.html',etree.HTMLParser())
result = html.xpath('//li/a/@href')
print(result)
通过@href即可获取节点的href属性。注意:此处和属性匹配的方法不同,属性匹配是
中括号加属性后和值来限定某个属性,如【@href=‘kink1.html’】,而@href获取节点的某个属性
当HTMl文本中li节点的class属性有两个值li和li-first,此时就要用 contains()函数了,
//li[contains(@class,'li')]/a/text()与之相应是starts-with()函数
//div[starts-with(@id,"test")]/text()
string(.)的用法,string()函数会得到所指元素的所有节点文本内容,这些文本讲会被拼接成一个字符串。
<div> <ul class="show">
<li>275万购昌平邻铁三居 总价20万买一居</li>
<li>00万内购五环三居 140万安家东三环</li>
<li>北京首现零首付楼盘 53万购东5环50平</li>
<li>京楼盘直降5000 中信府 公园楼王现房</li> </ul>
</div>
from lxml import etree ...