zoukankan      html  css  js  c++  java
  • python 之网页解析器

    一、什么是网页解析器

      1、网页解析器名词解释

      首先让我们来了解下,什么是网页解析器,简单的说就是用来解析html网页的工具,准确的说:它是一个HTML网页信息提取工具,就是从html网页中解析提取出“我们需要的有价值的数据”或者“新的URL链接”的工具。

      2、网页解析图解

      

    二、python 网页解析器

      1、常见的python网页

      常见的python网页解析工具有:re正则匹配、python自带的html.parser模块、第三方库BeautifulSoup(重点学习)以及lxm库。

      2、常见网页解析器分类

      以上四种网页解析器,是两种不同类型的解析器:

      (1)模糊匹配

        re正则表达式即为字符串式的模糊匹配模式;

      (2)结构化解析

        BeatufiulSoup、html.parser与lxml为“结构化解析”模式,他们都以DOM树结构为标准,进行标签结构信息的提取。()

      

      (3)结构化解析

      我们在了解什么是结构化解析之前,需要先了解下什么是DOM树这个概念。

      DOM树解释:即文档对象模型(Document Object Model),其树形标签结构,请见下图。

      

      而所谓结构化解析,就是网页解析器它会将下载的整个HTML文档当成一个Doucment对象,然后在利用其上下结构的标签形式,对这个对象进行上下级的标签进行遍历和信息提取操作。

    三、BeautifulSoup第三方库

      1、beautifulsoup4 简介

       Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python第三方库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.

       2、beautifulsoup4 安装

      (1)安装方法

      我直接启动cmd命令行运行环境,使用pip管理工具进行安装,安装命令如下。

     $ pip install beautifulsoup4

      (2)安装测试

      安装完成后,我直接启动IDLE环境,引入bs4测试其是否安装成功。

     >>>> from bs4 import BeautifulSoup
    >>>> import bs4
    >>>> print bs4

       3、BeautifulSoup 语法

       BeautifulSoup使用的一般流程就三步走:

      (1) 创建BeautifulSoup对象

      (2) 使用BeautifulSoup对象的操作方法find_all 与 find进行解读搜索。

         如:

         >>>> soup.find_all('a')

         >>>> soup.find(‘a’)

       (3) 利用DOM结构标签特性,进行更为详细的节点信息提取。

       

       4、使用方法(学习重点)

      (1)第一步:创建BeautifulSoup对象(即DOM对象)

    # 引入BeautifulSoup库
    >>>> from bs4 import BeatifulSoup # 根据HTML网页字符串结构创建BeatifulSoup对象。 >>>> soup = BeautifulSoup(html_doc, #HTML文档字符串 'html.parser', #HTML解析器 from_encoding = 'utf-8' #HTML文档编码 )

        

      (2)第二步:搜索节点(find_all,find)

         搜索节点方法:

      soup.find_all()  --- 查找所有符合查询条件的标签节点,并返回一个列表。
    
      soup.find()      --- 查找符合符合查询条件的第一个标签节点。

        实例1:搜索所有<a>标签

     >>>> soup.find_all('a')

        实例2:查找所有标签符合标签名为a,链接符合 /view/123.html的节点

        1)实现方法1:

     >>>> soup.find_all('a', href = '/view/123.html')

        2)实现方法2:

     >>>> soup.find_all('a', href = re.compile(r'/view/d+.html'))

         实例3:查找所有标签为名为a,class属性为abc,文字为python的节点 

     >>>> soup.findall('a', class_= 'abc', string = 'python')

      (3)第三步:访问节点信息

      比如我们得到节点:<a href = '/view/123.html' class = 'doc_link'> I love Python <a>

        1) 获取节点名称

          >>>> node.name

        2)获取查找到的a节点的href属性

        >>>> node['href']
    
        或者
    
        >>>> node.get('href')

        3)获取查找到的a节点的字符串内容

    >>>> node.get_text()

      

       5、BeautifulSoup 信息提取实例

    html_doc = """
    <html><head><title>The Dormouse's story</title></head>
    <body>
    <p class="title"><b>The Dormouse's story</b></p>
    
    <p class="story">Once upon a time there were three little sisters; and their names were
    <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
    <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
    <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
    and they lived at the bottom of a well.</p>
    
    <p class="story">...</p>
    """
    
    # 获取所有a标签节点内容
    links = BeautifulSoup('a')
    
    #查找已经获取a标签节点中所有连接
    for link in links:
        pirnt(link.name,link['href'],link.get_text())
  • 相关阅读:
    Jenkins+Tomcat+svn+maven自动化构建简单过程
    Eclipse常用的6个Debug技巧
    在linux服务器上发布web应用的完整过程
    【转】解决response.AddHeader("Content-Disposition", "attachment; fileName=" + fileName) 中文显示乱码
    springmvc缓存和mybatis缓存
    springmvc文件上传和下载
    博客园API
    整理一下CoreGraphic和Quartz2D的知识(二)
    整理一下CoreGraphic和Quartz2D的知识(一)
    CGPoint和CGSize以及CGRect的一些方法~
  • 原文地址:https://www.cnblogs.com/my1e3/p/6622306.html
Copyright © 2011-2022 走看看