解析对象和解析方式

# 1. ===================使用etree================

# 下载：pip3 install lxml
# 导包：from lxml import etree

# 将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点
　　  # 2.1 本地文件：tree = etree.parse(文件名)
tree.xpath("xpath表达式")
　　  # 2.2 网络数据：tree = etree.HTML(网页内容字符串)
tree.xpath("xpath表达式")

# 2. ===================使用Selector=============

from scrapy import Selector
html_selector = Selector(text=response)
str = html_selector.xpath("/html/body/div[2]/div[1]/div[2]/div[1]/p[1]/a/b/text()").extract_first()
print(str)  # 落梅风·斜阳外

# 3. =================xpath语法=================

1. 属性定位：
# 找到class属性值为song的div标签
// div[@class="song"]

2. 层级 & 索引定位：
# 找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的# 3. 直系子标签a
// div[@class ="tang"]/ul/li[2]/a

4. 逻辑运算：
# 找到href属性值为空且class属性值为du的a标签
// a[@href="" and @class="du"]

5. 模糊匹配：
# class中包含ng的 class="xxx" 是这个class类
// div[contains(@class, "ng")]  # contains 包含
// div[starts-with(@class, "ta")]  # starts 以什么什么开头

6. 取文本：
# /表示获取某个标签下的文本内容
# //表示获取某个标签下的文本内容和所有子标签下的文本内容
// div[@class="song"]/p[1]/text()  # 取直系文本
// div[@class="tang"]//text()  # 取所有文本
　　# /text 返回列表 一个列表
    # //text() 返回多个列表

7. 取属性：
// div[@class="tang"]//li[2]/a/@href
// a[text()='下一页']/@href

#4. =================xpath函数======================

1. starts-with函数
获取以xxx开头的元素

例子：xpath(‘//div[stars-with(@class, ”test”)]’)

2 contains函数

获取包含xxx的元素

例子：xpath(‘//div[contains(@id, ”test”)]’)

3 and
与的关系

例子：xpath(‘ // div[contains(@id, ”test”) and contains(@id, ”title”)]’)

4 text()函数
# /表示获取某个标签下的文本内容

# //表示获取某个标签下的文本内容和所有子标签下的文本内容

// div[@class="song"]/p[1]/text()  # 取直系文本

// div[@class="tang"]//text()  # 取所有文本

# /text 返回一个列表

# //text() 返回多个列表

# 4. ==================BeautifulSoup==================

# 使用流程：
- 导包：from bs4 import BeautifulSoup
- 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点内容
（1）转化本地文件：
- soup = BeautifulSoup(open('本地文件'), 'lxml')
（2）转化网络文件：
- soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')
（3）打印soup对象显示内容为html文件中的内容

# 基础巩固：
（1）根据标签名查找
- soup.a  # 只能找到第一个符合要求的标签
（2）获取属性
- soup.a.attrs  # 获取a所有的属性和属性值，返回一个字典
- soup.a.attrs['href']  # 获取href属性
- soup.a['href']  # 也可简写为这种形式
（3）获取内容
- soup.a.string  # 返回字符串 直系文本数据 直系就是没有跨级 比如ul下的li
# li里面的a标签就不是直系了
- soup.a.text  # 很可能返回列表 非直系的文本数据
- soup.a.get_text()  # 很可能返回列表 非直系的文本数据
【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个，可以获取文本内容
（4）find：找到第一个符合要求的标签
- soup.find('a')  # 找到第一个符合要求的和soup.a 效果一样 返回的是单数
- soup.find('a', title="xxx")  # 获得属性值为title="xxx"的标签
- soup.find('a', alt="xxx")
- soup.find('a', class_="xxx")  # 注意下划线
- soup.find('a', id="xxx")
（5）find_all：  # 找到所有符合要求的标签 返回的是复数
- soup.find_all('a')
- soup.find_all(['a', 'b'])  # 找到所有的a和b标签
- soup.find_all('a', limit=2)  # 限制前两个
（6）根据选择器选择指定的内容
select:soup.select('#feng')
       - 常见的选择器

：标签选择器(a)、类选择器(.)、id选择器(  # )、层级选择器
- 层级选择器：
div.dudu  # lala .meme .xixi  # 下面好多级 div空格.dudu
div > p > a >.lala  # 只能是下面一级
【注意】select选择器返回永远是列表，需要通过下标提取指定的对象