zoukankan      html  css  js  c++  java
  • 爬虫基础 pyquery 详解



    # -*- coding:utf8 -*-
    # 工程路径:pyquery详解.py
    # 工程日期:10/6/2019
    # 工程目标:pyquery的使用
    
    #%% 使用pyquery解析网页元素
    html = '''
    <div>
        <ul>
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
    '''
    from pyquery import PyQuery as pq
    doc = pq(html)
    print(doc('li'))
    print(type(doc('li'))) # 是个pq的对象 # 基于CSS选择器选择元素
    
    
    #%% URL的直接初始化
    from pyquery import PyQuery as pq
    doc = pq(url='https://www.baidu.com')
    print(doc('head'))
    
    #%% 基于文件的初始化
    # 以文件的形式加载网页内容
    from pyquery import PyQuery as pq
    doc = pq(filename='文件路径')
    print(doc())
    
    #%% 基本的css选择器
    # css选择器中使用嵌套模式,并不一定是直接子对象,具有层级关系,就可以使用嵌套选择
    html = '''
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
    '''
    from pyquery import PyQuery as pq
    doc = pq(html)
    print(doc('#container .list li'))  # 选出所有的li 标签
    # # 标识的为 id .
    # . 标识 class
    #  空格标识嵌套关系
    
    
    #%% 查找元素
    # 子元素的选择 find
    html = '''
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
    '''
    from pyquery import PyQuery as pq
    doc = pq(html)
    item = doc('.list')
    print(item)  # 查找所有的 li 标签
    print(type(item))  # 查看返回的 item 类型 是pyquery对象类型
    lis = item.find('li')
    print(lis)
    print(doc.find('a'))  # 查找a标签
    # 该类型的对象任然可以进行迭代查找
    
    #%% 获取父元素, 兄弟元素, 子元素
    html = """
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
    """
    
    from pyquery import PyQuery as pq
    doc = pq(html)
    item = doc('.list')
    container_p = item.parent() # 查找 属性为 list 的标签的 父标签
    container_ps = item.parents() # 查找属性为 list 标签的 祖先节点
    container_s = item.children() # 查找该标签的所有子孙节点
    container_si = doc('.list .item.active').siblings()  # 查找 属性为 list 的内层中的 包含item和active 属性的节点的兄弟节点
    print(container_s)
    print(container_ps)
    print(container_s)
    print(container_si)
    
    #%% 遍历元素
    # 遍历多个元素 .items (遍历结果中的多个元素)
    html = """
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
    """
    
    from pyquery import PyQuery as pq
    doc = pq(html)
    lis = doc('li').items()
    for i in lis:
        print(i)
    
    
    #%% 获取标签的属性信息, 标签内容的文本信息
    html = """
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
    """
    
    from pyquery import PyQuery as pq
    doc = pq(html)
    print(doc('.item-0.active a').attr('href')) # 获取class 为 item-0 active 的子标签 a 标签的中的 href 值
    print(doc('.item-0.active a').text())   # 获取该标签中的文本内容
    print(doc('.item-0.active').html())  # 获取该标签内层的HTML内容
    
    
    #%% dom 节点操作
    # addclass removeclass  添加删除class中的属性
    # attr 在class 中 添加属性
    # css  在标签中添加样式
    # remove 一出指定标签的标识符 <>
    # 其他方法http://pyquery.readthedocs.io/en/latest/api.html
    
    
    #%%  伪类选择器 符合css3的选择器标准
    html = '''
    <div class="wrap">
        <div id="container">
            <ul class="list">
                 <li class="item-0">first item</li>
                 <li class="item-1"><a href="link2.html">second item</a></li>
                 <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
                 <li class="item-1 active"><a href="link4.html">fourth item</a></li>
                 <li class="item-0"><a href="link5.html">fifth item</a></li>
             </ul>
         </div>
     </div>
    '''
    from pyquery import PyQuery as pq
    doc = pq(html)
    li = doc('li:first-child')   # 获取 li 标签的第一个
    print(li)
    li = doc('li:last-child')    # 获取 li 标签的 最后一个
    print(li)
    li = doc('li:nth-child(2)')
    print(li)
    li = doc('li:gt(2)')
    print(li)
    li = doc('li:nth-child(2n)')  # 获取 02468 的li 标签
    print(li)
    li = doc('li:contains(second)')  # 获取内容包含 second 的 li 标签
    print(li)
  • 相关阅读:
    开源blog搬家工具
    嵌入式语言Lua
    ChangeMan Version Manager Workstation 8.1 command line quick check in/out
    Mssql合并列值(三个关系表合并)
    心得——学习中做笔记应该做到哪
    MFC Dialog 透明渐变
    【转】SSDT&Shadow Hook的实现,完整代码。可编译
    ssdt 表结构及hook的一般理解
    <转>ssdt hook 源码
    【转】_declspec(naked) 使用
  • 原文地址:https://www.cnblogs.com/binyang/p/10997122.html
Copyright © 2011-2022 走看看