1.pyquery部分选择器解释
"""pyquery的CSS选择器方法""" from pyquery import PyQuery html = """ <div id="container"> <table class="tablelist" cellpadding="0" cellspacing="0"> <tr class="h"> <td class="l" width="374">职位名称</td> <td>职位类别</td> <td>人数</td> <td>地点</td> <td>发布时间</td> </tr> </table> </div> """ # 传递html内容初始化 res = PyQuery(html) # CSS选择器方法进行选择。#container为ID选择方法，.tablelist为class选择方法，tr为标签选择方法 # 这句的意思是选择ID为container节点内部的class为tablelist的节点中所有tr标签内容 print(res("#container .tablelist tr")) # <class 'pyquery.pyquery.PyQuery'> 类型为PyQuery类型 print(type(res("#container .tablelist tr"))) """ # 常用CSS选择器方法介绍 find() 查找结点的所有子孙节点 children() 查找子节点，也可以在括号中添加想要查找的子节点类型 parent() 获取目标的父节点 parents() 获取所有的祖先节点，可以在括号中添加css选择器选取想要的祖先节点 siblings() 兄弟节点，选择除本身之外的兄弟节点，可添加css选择器 # 选择完成之后会有许多节点，这需要遍历 items() 返回一个生成器,使用for循环就可以打印出来。循环的每一个节点还是PyQuery类型可以继续CSS选择器选择 # 获取属性和文本信息 attr() 获取找到的第一个属性，找多个需要循环遍历 text() 获取所有文本以空格分割开并合并成一个字符串 html() 获取找到的第一个html文本，找多个需要循环遍历 # 节点操作 addClass() 增加class属性 removeClass() 移除class属性 remove() 删除find("xx").remove()找到的指定内容 attr() 增加节点属性 text() 增加节点文本内容 html() 增加节点html内容 http://www.w3school.com.cn/css/index.asp # CSS教程 """ # 伪类选择器 doc = PyQuery(html) # 第一个td节点 td = doc("td:first-child") print(td) # 最后一个td节点 td = doc("td:last-child") print(td) # 第二个td节点 td = doc("td:nth-child(2)") print(td) # 第三个td节点之后的td节点 td = doc("td:gt(2)") print(td) # 偶数位置的td节点 td = doc("td:nth-child(2n)") print(td) # 包含、地点、文本的td节点 td = doc("td:contains(地点)") print(td)
2.pyquery三种解析方法的选择
"""CSS选择器库，熟悉web和jquery可以选择此解析库""" from pyquery import PyQuery import requests # 第一种解析方法,直接传入url进行请求然后用得到的HTML内容进行初始化 res = PyQuery(url="https://www.sogou.com/") # css中的标签选择方法打印title标签和内容 print(res("title")) # 第二种常规解析方法,用网页的源代码以字符串的形式传递给PyQuery类来初始化 rew = PyQuery(requests.get("https://www.sogou.com/").text) print(rew("title")) # 文件解析.可以选取一个本地HTML文件进行解析 req = PyQuery(filename="index.html") print(req("title"))
3.pyquery实战解析之存储到txt文件
"""pyquery实战解析之数据存储""" import requests from pyquery import PyQuery # 获取url url = "https://www.gushiwen.org/default_1.aspx" # 获取请求头信息 headers={"user-agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3554.0 Safari/537.36"} # 发送get请求并获取请求的文本字符串 html = requests.get(url=url, headers=headers).text # 将获取的文本字符串转换为PyQuery对象 pq = PyQuery(html) # 使用css选择器并调用items()方法生成迭代器 items = pq(".cont").items() # 循环遍历 for item in items: # 调用find()方法并采用css选择器中的标签选择获取标题。 title = item.find("p b").text() # 获取结果类型为字符串，可以调用split()方法进行分割。分割之后为列表类型 contents = item.find("p a").text().split(" ") # 根据获得的结果进行判断 if len(contents) == 1: continue # 朝代 dynasty = contents[1] # 作者 author = contents[2] # 调用children()方法并采用css选择器中的标签选择获取文本内容 text = item.children(".contson").text() # f = open("poetry.txt", "a", encoding="utf-8") # f.write(" ".join([title, dynasty, author, text])) # f.write(" " + "=" * 100 + " ") # f.close() # 此种文件操作模式完成之后需要调用close()方法主动关闭文件 # 打开.txt文件，以"a"追加的方式写入utf-8编码的数据内容并给出可操作的文件句柄f with open("poetry.txt", "a", encoding="utf-8") as f: # with as 语法执行文件操作之后会自动关闭打开的文件，所以不用调用close()方法 f.write(" ".join([title, dynasty, author, text])) f.write(" " + "=" * 100 + " ")