zoukankan      html  css  js  c++  java
  • python爬虫 解析库的安装(lxml、Beautiful Soup、pyquery)

    python爬虫 解析库的安装(lxml、Beautiful Soup、pyquery)

    简介

    抓取网页代码之后,下一步就是从网页中提取信息。提取信息的方式有多种多样,可以使用正则来提取,但是写起来相对比较繁琐。这里还有许多强大的解析库,如lxml、Beautiful Soup、pyquery等,此外,还提供了非常强大的解析方法,如XPath解析和CSS选择器解析等,利用它们,我们可以高校便捷地从网页中提取有效信息。

    lxml的安装

    ->lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高。
    ->Ubuntu pip安装命令如下:
    pip3 install lxml -i https://pypi.tuna.tsinghua.edu.cn/simple/
    ->如果报错可能是缺少了必要的类库,执行如下名命令安装:
    sudo apt-get install -y python3-dev build-essential libssl-dev libffi-dev libxml2 libxml2-dev libxslt1-dev zlib1g-dev
    ->验证安装

    Beautiful Soup的安装

    ->Beautiful Soup是python的一个HTML或XML的解析库,我们可以用它来方便地从网页中提取数据。它拥有强大的API和多样的解析方式,本节就来了解下它的安装方式。
    ->Beautiful Soup的HTML和XML解析器是依赖于lxml库的,所以在此之前请确保已经成功安装好了lxml库,具体的安装方式参见上街。
    ->Beautiful Soup的最新版本是4.x版本,之前的版本已经停止开发了。这里推荐使用pip来安装,安装命令如下:
    pip3 install beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple/
    ->验证安装

    pyquery的安装

    ->pyquery同样是一个强大的网页解析工具,它提供了和JQuery类似的语法来解析HTML文档,支持CSS
    选择器,使用非常方便
    ->pip安装命令如下:
    pip3 install pyquery -i https://pypi.tuna.tsinghua.edu.cn/simple/
    ->验证安装

  • 相关阅读:
    hdu 3333 树状数组+离线处理
    poj 2352 树状数组 OR Treap
    hdu 1698 线段树
    【概率dp】D. Card Collector
    【分段哈希】H. Paint the Wall
    【置换】G. Poker 2.0
    【概率dp】C. Race to 1 Again
    【dp】D. Caesar's Legions
    【并查集】F.find the most comfortable road
    【算法系列学习】连续邮资问题
  • 原文地址:https://www.cnblogs.com/lyhLive/p/13867791.html
Copyright © 2011-2022 走看看