xpath和lxml库

目录

• XPath及lxml解析
  • xpath语法
    • 1.XPath常用路径表达式
    • 2.xpath谓词
    • 3.选取未知节点
    • 4.选取若干路径
    • 5.XPath 轴
  • lxml
    • 1.实例引入

XPath及lxml解析

安装:pipenv install lxml
XPath的用法:http://www.runoob.com/xpath/xpath-intro.html
lxml库文档:http://lxml.de/

xpath语法

一般通过对Xpath解析对象方法xpath('')中运用xpath规则,得到所需节点和属性

1.XPath常用路径表达式

返回目录

• nodename:选取此节点的所有子节点

• /:从根节点选取

• //:从匹配选择的当前节点选择文档中的所有节点

返回的是所有符合条件的节点列表,每个元素都是一个 Element对象。如果要取出其中一个对象，可以用索引.*代表匹配所有节点.

• .:选取当前节点

• ..:选取当前节点的父节点

还可以通过parent::来获取父节点

• @:选取属性

@class:获取class属性
当属性有多值的时候,用contains()函数,第一个参数传入属性名称，第二个参数传入属性值，只要此属性包含所传入的属性值，就可以完成匹配了。例如:

text = '''
<li class="li li-first"><a href="link.html">first item</a></li>
'''
html = etree.HTML(text)
result = html.xpath('//li[contains(@class, "li")]/a/text()')

• text():获取节点的文本

2.xpath谓词

返回目录

• 来查找某个特定的节点或者包含某个指定的值的节点,谓语被嵌在方括号中:

/bookstore/book[1]: 选取属于 bookstore 子元素的第一个 book 元素。

/bookstore/book[last()]: 选取属于 bookstore 子元素的最后一个 book 元素。

/bookstore/book[last()-1]: 选取属于 bookstore 子元素的倒数第二个 book 元素。

/bookstore/book[position()<3]: 选取最前面的两个属于 bookstore 元素的子元素的 book 元素。

//title[@lang]: 选取所有拥有名为 lang 的属性的 title 元素。

//title[@lang='eng']: 选取所有 title 元素，且这些元素拥有值为 eng 的 lang 属性。

/bookstore/book[price>35.00]: 选取 bookstore 元素的所有 book 元素，且其中的 price 元素的值须大于 35.00。

/bookstore/book[price>35.00]/title: 选取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值须大于 35.00。

3.选取未知节点

返回目录

• * :匹配任何元素节点。

• @*: 匹配任何属性节点。

• node(): 匹配任何类型的节点。

4.选取若干路径

返回目录

过在路径表达式中使用"|"运算符,可以选取若干个路径

5.XPath 轴

返回目录

定义相对于当前节点的节点集

轴名称::选取的节点:
例如:

//li[1]/ancestor::*
//li[1]/ancestor::div
//li[1]/child::a[@href="link1.html"]
//li[1]/following::*[2]

轴名称	结果
ancestor	选取当前节点的所有先辈（父、祖父等）。
ancestor-or-self	选取当前节点的所有先辈（父、祖父等）以及当前节点本身。
attribute	选取当前节点的所有属性。
child	选取当前节点的所有子元素。
descendant	选取当前节点的所有后代元素（子、孙等）。
descendant-or-self	选取当前节点的所有后代元素（子、孙等）以及当前节点本身。
following	选取文档中当前节点的结束标签之后的所有节点。
following-sibling	选取当前节点之后的所有兄弟节点
namespace	选取当前节点的所有命名空间节点。
parent	选取当前节点的父节点。
preceding	选取文档中当前节点的开始标签之前的所有节点。
preceding-sibling	选取当前节点之前的所有同级节点。
self	选取当前节点。

lxml

1.实例引入

返回目录

from lxml import etree
text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a>
     </ul>
 </div>
'''
html = etree.HTML(text)  # 将html字符串构造成XPath解析对象
# html = etree.parse('./test.html', etree.HTMLParser())  # 直接读取文本文件进行解析
# result = html.xpath('//li[last()]/a/text()')  # 用XPath解析
result = etree.tostring(html)  # bytes类型修正后的HTML代码
print(result.decode('utf-8'))  # 解码为字符串