zoukankan      html  css  js  c++  java
  • Beautiful Soup库入门

    1.安装:pip install beautifulsoup4

       Beautiful Soup库是解析、遍历、维护“标签树”的功能库

    2.引用:(1)from bs4 import BeautifulSoup  (2)import bs4

       BeautifulSoup对应一个HTML/XML文档的全部内容

    3.解析器:(1)html.parser  (2)lxml pip install lxml  (3)html5lib pip install html5lib

    4.BeautifulSoup类的基本元素: <p class = "title">...</p>

    Tag 标签,最基本的信息组成单元,分别用<>和</>标明开头和结尾
    Name 标签的名字,<p>...</p>的名字是'P',格式:<tag>.name
    Attributes 标签的属性,字典形式组织,格式:<tag>.attrs
    NavigableString 标签内非属性字符串,<>...</>中字符串,格式:<tag>.string
    Comment 标签内字符串的注释部分,一种特殊的Comment类型

    5.BeabutifulSoup类型是标签树的根节点

    (1)标签树的下行遍历:

    .contents 子节点的列表,将<tag>所有儿子节点存入列表
    .children 子节点的迭代类型,与.contents类似,用于循环遍历儿子节点
    .descendants 子孙节点的迭代类型,包含所有子孙节点,用于循环遍历

    (2)标签树的上行遍历:

    .parent 节点的父亲标签
    .parents 节点先辈标签的迭代类型,用于循环遍历先辈节点

    (3)标签树的平行遍历:

    .next_sibling 返回按照HTML文本顺序的下一个平行节点标签
    .previous_sibling 返回按照HTML文本顺序的上一个平行节点标签
    .next_siblings 迭代类型,返回按照HTML文本顺序的后续所有平行节点标签
    .previous_siblings 迭代类型,返回按照HTML文本顺序的前续所有平行节点标签


    上行遍历需判断是否为本身(例下:)

    for parent in soup.a.parents:

      if parent is None:

        print(parent)

      else:

        print(parent.name)

    6.bs4库的prettify()方法:

    .prettify()为HTML文本<>及其内容增加更加' '
    .prettify()可用于标签,方法:<tag>.prettify()

    bs4库将任何HTML输入都变成utf-8编码

    7.信息标记的三种形式:XML  JSON  YAML

       信息提取的一般方法:  

        方法一:完整解析信息的标记形式,再提取关键信息    方法二:无视标记形式,直接搜索关键信息

        融合方法:结合形式解析与搜索方法,提取关键信息

    8.HTML内容查找方法:<>.find_all(name, attrs, recursive, string, **kwargs)

    name 对标签名称的检索字符串
    attrs 对标签属性值的检索字符串,可标注属性检索
    recursive 是否对子孙全部检索,默认True
    string <>...</>中字符串区域的检索字符串

    <tag>(...) 等价于 <tag>.find_all(..)      soup(..)  等价于 soup.find_all(..)

    <>.find() 搜索且只返回一个结果,同.find_all()参数
    <>.find_parents() 在先辈节点中搜索,返回列表类型,同.find_all()参数
    <>.find_parent() 在先辈节点中返回一个结果,同.find()参数
    <>.find_next_siblings() 在后续平行节点中搜索,返回列表类型,同.find_all()参数
    <>.find_next_sibling() 在后续平行节点中返回一个结果,同.find()参数
    <>.find_previous_siblings() 在前序平行节点中搜索,返回列表类型,同.find_all()参数
    <>.find_previous_sibling() 在前序平行节点中返回一个结果,同.find()参数
  • 相关阅读:
    Linux常用命令
    C# 报表设计器 (winform 设计端)开发与实现生成网页的HTML报表
    完成复杂表头列表
    流程设计--页面介绍
    流程设计--设计理念
    报表设计--坐标实例-位移坐标
    Spring MVC 工作原理--自我理解
    java ==、equals和hashCode的区别和联系
    java 自动装箱和拆箱
    java maven笔记
  • 原文地址:https://www.cnblogs.com/lskai/p/11911302.html
Copyright © 2011-2022 走看看