《python3网络爬虫开发实战》--解析库的使用

在用正则表达式匹配的时候，错误一点点，可能会导致匹配失败所以还是不方便。

对于网页来说，它可以定义id,class或者其他属性，并且节点之间有层次关系，在网页可以通过XPath或CSS选择器来定位一个或者多个节点

1.XPATH

from lxml import etree
text = '''
<div>
<ul>
<li class="item-O"><a href="link1.html"><span>first item</span></a></li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-inactive"><a href="link3.html">third item</a></li>
<li class="item-1"><a href="link4.html">fourth item</a></li>
<li class="item-O"><a href="link5.html">fifth item</a>
</ul>
</div>
'''
html = etree.HTML(text)
result = html.xpath('//li[1]/ancestor::*')
print(result)
result = html.xpath('//li[1]/ancestor::div')
print(result)
result = html.xpath('//li[1]/attribute::*')
print(result)
result = html.xpath('//li[1]/child::a[@href="link1.html"]')
print(result)
result = html.xpath('//li[1]/descendant::span')
print(result)
result = html.xpath('//li[1]/following::*[2]')
print(result)
result = html.xpath('//li[1]/following-sibling::*')
print(result)

[<Element html at 0x101070808>, <Element body at 0x101070788>, <Element div at 0x101070748>, <Element ul at 0x101070848>]
[<Element div at 0x101070748>]
['item-O']
[<Element a at 0x101070788>]
[<Element span at 0x101070848>]
[<Element a at 0x101070788>]
[<Element li at 0x101070848>, <Element li at 0x101070888>, <Element li at 0x1010708c8>, <Element li at 0x101070908>]

第一次选择时，调用了 ancestor轴，可以获取所有祖先节点。 其后需要跟两个冒号，然后是节点的选择器，这里直接使用*，表示匹配所有节点，因此返回结果是第一个 li节点的所有祖先节点，包括 html、 body、 div 和 ul。

第二次选择时，又加了限定条件，这次在冒号后面加了 div，这样得到的结果就只有 div 这个祖先节点了 。

第三次选择时，调用了 attribute轴，可以获取所有属性值，其后跟的选择器还是*，这代表获取节点的所有属性，返回值就是 li节点的所有属性值。

第四次选择时，调用了 child 轴，可以获取所有直接子节点 。 这里又加了限定条件，选取 href 属性为 linkl.html 的 a 节点 。

第五次选择时，调用了 descendant 轴，可以获取所有子孙节点。这里又加了限定条件获取 span节点，所以返回的结果只包含 span节点而不包含 a节点。

第六次选择 时，调用了 following 轴，可以获取当前节点之后的所有节点 。 这里虽然使用的是*匹配，但又加了索引选择，所以只获取了第二个后续节点 。

第七次选择时，调用了 following-sibling 轴 ，可以获取当前节点之后的所有同级节点 。 这里使用*匹配，所以获取了所有后续同级节点。

2. Beautiful Soup：

它借助网页的结构和属性等特性来 解析网页。 有了它，我们不用再去写一些复杂的正则表达式，只需要简单的几条语句，就可以完成网 页中某个元素 的提取 。

3. 使用pyquery

html = '''
<div id="container">
<ul class="list">
<li class="item-O">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> 
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="linkS.html">fifth item</a></li>
</ul>
</div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
#doc = pq('https://cuiqingcai.com')
#print(doc('#container .list li'))

items = doc('.list')
lis = items.find('li')#子节点
items = doc('.list')
container = items.parent()#父节点
li = doc('.list .item-0.active')
print(li.siblings('.active'))
print(type(container))
print(container)

<li class="item-1 active"><a href="link4.html">fourth item</a></li>

<class 'pyquery.pyquery.PyQuery'>
<div id="container">
<ul class="list">
<li class="item-O">first item</li>
<li class="item-1"><a href="link2.html">second item</a></li>
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li> 
<li class="item-1 active"><a href="link4.html">fourth item</a></li>
<li class="item-0"><a href="linkS.html">fifth item</a></li>
</ul>
</div>