12 lxml&XPath结合使用（提取数据详解）

实现：

# 1、获取所有tr标签
# 2、获取第2个tr标签
# 3、获取所有class等于even的tr标签
# 4、获取所有a标签及其属性值
# 5、获取所有的职位信息（纯文本）

"""lxml&XPath结合使用"""


from lxml import etree

parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse('test.html', parser=parser)

# 1、获取所有tr标签
trs = html.xpath("//tr")        # xpath函数返回的是一个列表
for tr in trs:
    print(tr)
    #print(etree.tostring(tr, encoding='utf-8').decode('GBK'))

# 2、获取第2个tr标签
tr = html.xpath("//tr[2]")[0]
print(etree.tostring(tr, encoding='utf-8').decode('GBK'))

# 3、获取所有class等于even的tr标签
trs = html.xpath("//tr[@class='even']")
for tr in trs:
    print(etree.tostring(tr, encoding='utf-8').decode('GBK'))

# 4_1、获取所有a标签下href属性的值
2 ah = html.xpath("//a/@href")
for a in ah:
    print(a)
# 4_2、获取拥有href属性的a标签
6 al = html.xpath("//a[@href]")
for a in al:
    print(etree.tostring(a, encoding='utf-8').decode('GBK'))

# 5、获取所有的职位信息（纯文本）
positions = []
trs = html.xpath("//tr[position()>1]")      # 从第二个tr标签开始
for tr in trs:
    # 在某个标签下执行xpath函数，获取这个标签下的子孙元素，那么在“//”前面加一个“.”，即“.//”
    href = tr.xpath(".//a/@href")[0]        # 在当前的tr标签下获取其子孙元素的a标签
    #print(href)
    title = tr.xpath("./td[1]//text()")[0]      # 文本不在其直接子标签下
    #print(title)
    category = tr.xpath("./td[2]/text()")[0]
    num = tr.xpath("./td[3]/text()")[0]
    addr = tr.xpath("./td[4]/text()")[0]

    # 把所获得信息用字典结构存储
    position = {
        'href': href,
        'title': title,
        'category': category,
        'num': num,
        'address': addr
    }
    positions.append(position)

# 输出
for pos in positions:
    print(pos)

parser = etree.HTMLParser(encoding='GBK')