zoukankan      html  css  js  c++  java
  • 转python爬虫:BeautifulSoup 使用select方法详解

     

    复制代码
     1 html = """
     2 <html><head><title>The Dormouse's story</title></head>
     3 <body>
     4 <p class="title" name="dromouse"><b>The Dormouse's story</b></p>
     5 <p class="story">Once upon a time there were three little sisters; and their names were
     6 <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
     7 <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
     8 <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
     9 and they lived at the bottom of a well.</p>
    10 <p class="story">...</p>
    11 """
    复制代码

    我们在写 CSS 时,标签名不加任何修饰,类名前加点,id名前加 #,在这里我们也可以利用类似的方法来筛选元素,用到的方法是 soup.select(),返回类型是 list
    (1)通过标签名查找
     

    print soup.select('title') 
    #[<title>The Dormouse's story</title>]
     
    print soup.select('a')
    #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
     
    print soup.select('b')
    #[<b>The Dormouse's story</b>]
    

    (2)通过类名查找
     

    print soup.select('.sister')
    #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
    

    (3)通过 id 名查找
     

    print soup.select('#link1')
    #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
    

    (4)组合查找

    组合查找即和写 class 文件时,标签名与类名、id名进行的组合原理是一样的,例如查找 p 标签中,id 等于 link1的内容,二者需要用空格分开
     

    print soup.select('p #link1')
    #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
    

    直接子标签查找
     

    print soup.select("head > title")
    #[<title>The Dormouse's story</title>]
    

    (5)属性查找

    查找时还可以加入属性元素,属性需要用中括号括起来,注意属性和标签属于同一节点,所以中间不能加空格,否则会无法匹配到。
     

    print soup.select("head > title")
    #[<title>The Dormouse's story</title>]
     
    print soup.select('a[href="http://example.com/elsie"]')
    #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
    

    同样,属性仍然可以与上述查找方式组合,不在同一节点的空格隔开,同一节点的不加空格
     

    print soup.select('p a[href="http://example.com/elsie"]')
    #[<a class="sister" href="http://example.com/elsie" id="link1"><!-- Elsie --></a>]
  • 相关阅读:
    Maven使用教程
    [转载]DIV CSS设计时IE6、IE7、FF 与兼容性有关的特性
    ASP.NET MVC 开篇
    基于WebForm+EasyUI的业务管理系统形成之旅 -- ParamQueryGrid行、列合并(Ⅸ)
    基于WebForm+EasyUI的业务管理系统形成之旅 -- 施工计划查询(Ⅷ)
    浅析WCF与WebService、WPF与Silverlight 区别
    LeetCode-3Sum Smaller
    LeetCode-Different Ways to Add Parentheses
    LeetCode-Count Univalue Subtrees
    LeetCode-Decode String
  • 原文地址:https://www.cnblogs.com/onemorepoint/p/7258026.html
Copyright © 2011-2022 走看看