XPath

xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言，可以用来在XML和HTML文档中对元素和属性进行遍历。

XPath开发工具

1.Chrome插件XPath Helper。

2.Firefox插件Try XPath。

XPath 使用路径表达式来选取XMl文档中的节点或者节点集。

表达式	描述	示例	结果
nodename	选取此节点的所有子节点	bookstore	选取bookstore下所有的子节点
/	如果是在最前面，代表从根节点选取。 否则，代表选择某节点下的某节点	/bookstore	选取根节点下所有的bookstore节点
//	从全局节点中选取节点，随便在哪个位置	//book	从全局节点中找到所有book节点
@	选取某个节点的属性	//book[@price]	选取所有含有price属性的book标签

通过使用路径表达式中的‘|’运算符来选取多个路径：

# 选取所有的book元素以及book元素下所有的title元素
//bookstore/book|//book/title

　　

谓语：

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在 [] 中。常见的带有谓语的路径表达式及其结果如下所示：

路径表达式	描述
/bookstore/book[1]	选取bookstor下的第一个book元素
/bookstore/book[last()]	选取bookstore下的最后一个book元素
bookstore/book[position()<3]	选取bookstore下的前两个book元素
//book[@price]	选取拥有price属性的book元素
//book[@price=10]	选取所有price属性值为10的book元素

[] 的下标从1开始。

通配符：

* 表示通配符。

通配符	描述	示例	结果
*	匹配任意节点	/bookstore/*	选取bookstore下的所有子元素
@*	匹配节点中的任何属性	//book[@*]	选取所有带有属性的book元素

XPath语法：

使用方式：

使用//获取整个页面的元素，然后写标签名，再然后写谓词金进行提取。比如：

//div[@class='abc']

　　需要注意：

1. /  和 // 的区别：/代表只是获取直接子节点。// 获取子孙节点。一般 //用的比较多。

2. contains: 有时某个属性包含多个值，那么可以使用‘contains’函数。

//div[contains(@class,'job_detail')]

3. 谓词中的下标是从1开始的。

  

通过使用 lxml 库来使用XPath语法来解析网页数据。

lxml 是一个HTML/XML的解析器，主要功能是解析和提取HTML和XML数据。lxml 和正则一样，也是用c实现的，是一款高性能的python HTML/XML 

解析器。可以利用XPath语法来快速的定位特定元素以及节点信息。

lxml python官方文档：http://lxml.de/index.html

使用 pip 安装: pip install lxml

使用 lxml 解析HTML代码：

1. 解析 html 字符串(text 是HTML格式的字符串)：使用' lxml.etree.HTML'进行解析。示例代码：

htmlElement = etree.HTML(text)
print(etree.tostring(htmlElement,encoding='utf-8').decode('utf-8'))

2. 解析html文件：使用'lxml.etree.parse'进行解析。示例代码：

htmlElement = etree.parse('tencent.html')
print(etree.tostring(htmlElement,encoding='utf-8').decode('utf-8'))

　'etree.parse' 使用的是‘XML’解析器，所以如果碰到一些不规范的‘HTML’代码时就会解析错误，这时就要自己创建‘HTML’解析器。

# etree.HTMLParser 创建一个‘HTML’解析器

parser = etree.HTMLParser(encoding='utf-8')
htmlElement = etree.parse('tencent.html',parser=parser)
print(etree.tostring(htmlElement,encoding='utf-8').decode('utf-8'))

　

from lxml import etree

"""
1. 获取所有的tr标签
2.获取第二个tr标签
3. 获取所有的class等于even的标签
4. 获取所有a标签的href属性值
5，获取所有的职位信息（纯文本）
"""

parser = etree.HTMLParser(encoding='utf-8')
html = etree.parse("tencent.html",parser=parser)

# 1. 获取所有tr标签
# xpath函数返回的是一个列表
trs = html.xpath('//tr')
for tr in trs:
    print(etree.tostring(tr,encoding='utf-8').decode('utf-8'))

# 2. 获取第二个tr标签
secondtr = html.xpath('//tr(2)')[0]

# 3. 获取所有的class等于even的标签
trs = html.xpath("//tr[@class="even"]")
for tr in trs:
    print(etree.tostring(tr,encoding='utf-8').deconde('utf-8'))


# 4. 获取所有a标签的href属性值
"""
获取所有a标签的href属性的值[‘’//a/@href’’]; 
获取所有含有href 属性的 a标签//a[@href]。
"""
alist = html.xpath("//a/@href")
for a in alist:
    print('http://hr.tencent.com/'+a)


# 5. 获取获取所有的职位信息（纯文本）
trs = html.xpath("//tr[position()>1]")
positions = []
for tr in trs:
    href = tr.xpath(".//a/@href")[0]
    fullurl = 'http://hr.tencent.com/'+href
    title = tr.xpath("./td[1]//text()")[0]
    category = tr.xpath("./td[2]//text()")[0]
    nums = tr.xpath("./td[3]//text()")[0]
    address = tr.xpath("./td[4]/text()")[0]
    pubtime = tr.xpath('./td[5]/text()')[0]
    
    
    position = {
        'url':fullurl,
        'title':title,
        'category':category,
        'address':address,
        'pubtime':pubtime
    }
    positions.append(position)

lxml 结合 xpath注意事项：

1. 使用‘xpath’语法应该使用'Element.xpath'方法来执行xpath的选择。示例代码：

trs = html.xpath("//tr[positon()>1]")

　　'xpath'函数返回的是一个列表。

2， 获取某个标签的属性：

href = html.xpath("//a/@href")

3. 通过'xpath'中的‘text()’ 函数获取文本。

address = tr.xpath("./td[4]/text()")[0]

　　

 4. 在某个标签下，再执行xpath函数，获取这个标签下的子孙元素，那么应该在‘/’之前加一个点，代表是在当前元素下获取。

　

import requests
from lxml import etree





# 1. 将目标页面的数据抓取下来
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3642.0 Safari/537.36',
    'Referer':'https://movie.douban.com/'

}


url = 'https://movie.douban.com/cinema/nowplaying/xuchang/'
response = requests.get(url,headers=headers)
text = response.text

# 2. 根据一定的规则对抓取下来的数据进行提取 
html = etree.HTML(text)

# 正在上映的电影的标签，  [1]即将上映的电影的标签
ul = html.xpath("//ul[@class='lists']")[0]
# # 查看获取的ul标签
# print(etree.tostring(ul,encoding='utf-8').decode('utf-8'))

# 获取li标签
lis = ul.xpath("./li")
movies = []
for li in lis:
    title = li.xpath('@data-title')[0]
    score = li.xpath('@data-score')[0]
    duration = li.xpath('@data-duration')[0]
    region = li.xpath('@data-region')[0]
    direcrot = li.xpath('@data-director')[0]
    actors = li.xpath('@data-actors')[0]
    thumbnail = li.xpath(".//img/@src")[0]
    movie = {
        'title':title,
        'score':score,
        'duration':duration,
        'region': region,
        'direcrot':direcrot,
        'actors':actors,
        'thumbnail':thumbnail

    }
    movies.append(movie)

print(movies)

import requests
from lxml import etree
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3642.0 Safari/537.36'
}
BASE_DOMAIN = 'https://www.dytt8.net'
def get_detail_urls(url):
    response = requests.get(url, headers=headers)
    text = response.text
    html = etree.HTML(text)
    detail_urls = html.xpath("//table[@class='tbspan']//a/@href")
    # detail_urls = []
    # for get_detail_url in detail_urls:
    #     detail_url = BASE_DOMAIN + get_detail_url
    #     detail_urls.append(detail_url)

    detail_urls = map(lambda url:BASE_DOMAIN+url,detail_urls)
    return detail_urls

def parse_detail_page(url):
    movie = {}
    response = requests.get(url,headers=headers)
    text = response.content.decode('gbk')

    html = etree.HTML(text)
    title = html.xpath("//div[@class='title_all']//font[@color='#07519a']/text()")[0]
    movie['title'] = title
    zooms = html.xpath("//div[@id='Zoom']")[0]
    imgs = zooms.xpath(".//img/@src")
    # 封面图
    coverimg = imgs[0]
  

    movie['cover'] = coverimg
  

    def pares_info(info,rule):
        return info.replace(rule,'').strip()

    infos = zooms.xpath(".//text()")
    for index,info in enumerate(infos):
        if info.startswith("◎年　　代"):
            # info = info.replace("◎年　　代",'').strip()
            info = pares_info(info,"◎年　　代")
            movie['year'] = info
        elif info.startswith("◎产　　地"):
            info = pares_info(info, "◎产　　地")
            movie['country'] = info
        elif info.startswith("◎类　　别"):
            info = pares_info(info, "◎类　　别")
            movie['category'] = info
        elif info.startswith("◎豆瓣评分"):
            info = pares_info(info, "◎豆瓣评分")
            movie['douban_rating'] = info
        elif info.startswith("◎片　　长"):
            info = pares_info(info, "◎片　　长")
            movie['duration'] = info
        elif info.startswith("◎导　　演"):
            info = pares_info(info, "◎导　　演")
            movie['director'] = info
        elif info.startswith("◎主　　演"):
            info = pares_info(info, "◎主　　演")
            actors = [info]
            for x in range(index+1,len(infos)):
                # 去除空白字符
                actor = infos[x].strip()
                if actor.startswith("◎"):
                    break
                actors.append(actor)
            movie['actors'] = actors
        elif info.startswith("◎简　　介"):
            info = pares_info(info, "◎简　　介")
            for x in range(index + 1, len(infos)):
                profile = infos[x].strip()
                movie['profile'] = profile
    download_url = html.xpath("//td[@bgcolor='#fdfddf']/a/@href")[0]
    movie['download_url'] = download_url
    return movie



    pass

def spider():
    base_url = 'https://www.dytt8.net/html/gndy/dyzz/list_23_{}.html'
    # 页数
    movies = []
    for x in range(1,223):
        url = base_url.format(x)
        detail_urls = get_detail_urls(url)
        # 一页中的所有详情的URL
        for detail_url in detail_urls:
            movie = parse_detail_page(detail_url)
            movies.append(movie)
            print(movie)

    # print(movies)




if __name__ =='__main__':
    spider()