zoukankan      html  css  js  c++  java
  • Jsoup 使用教程:输入

    使用背景:

      使用网络爬虫(或者手动复制),从别的网站上下载下来的内容,都是一堆的html,很多标签、样式 等等都可能是你所不需要的,或者 想要变成你想要的样式。那么该怎么办呢?

      我们知道,每一个网页都是一个html,那么下载下来的内容则可能是完全或不完全的html 片段

      使用Jsoup 可以解析 html

    正文:

    1、解析一个HTML字符串

    使用Jsoup 来解析一个HTML 文档。使用静态Jsoup.parse(String html) 方法或 Jsoup.parse(String html, String baseUri)示例代码:

    String html = "<html><head><title>First parse</title></head>"
      + "<body><p>Parsed HTML into a doc.</p></body></html>";
    Document doc = Jsoup.parse(html);
    

      其解析器能够尽最大可能从你提供的html 文档 来创建一个干净的解析结果,无论html 的格式是否完整

      比如它可以处理:

      • 没有关闭的标签 (比如: <p>Lorem <p>Ipsum parses to <p>Lorem</p> <p>Ipsum</p>)
      • 隐式标签 (比如. 它可以自动将 <td>Table data</td>包装成<table><tr><td>?)
      • 创建可靠的文档结构(html标签包含head 和 body,在head只出现恰当的元素)

        parse(String html, String baseUri) 这方法能够将输入的HTML解析为一个新的文档 (Document),参数 baseUri 是用来将相对 URL 转成绝对URL,并指定从哪个网站获取文档。

      如这个方法不适用,你可以使用 parse(String html) 方法来解析成HTML字符串如上面的示例。.

      只要解析的不是空字符串,就能返回一个结构合理的文档,其中包含(至少) 一个head和一个body元素。

      一旦拥有了一个Document,你就可以使用Document中适当的方法或它父类 ElementNode中的方法来取得相关数据。

    一个文档的对象模型

    • 文档由多个Elements和TextNodes组成 (以及其它辅助nodes:详细可查看:nodes package tree).
    • 其继承结构如下:Document继承Element继承NodeTextNode继承 Node.
    • 一个Element包含一个子节点集合,并拥有一个父Element。他们还提供了一个唯一的子元素过滤列表。

    2、解析一个body片断

    问题

    假如你有一个HTML片断 (比如. 一个 div 包含一对 p 标签; 一个不完整的HTML文档) 想对它进行解析。这个HTML片断可以是用户提交的一条评论或在一个CMS页面中编辑body部分。

    办法

    使用Jsoup.parseBodyFragment(String html)方法.

    String html = "<div><p>Lorem ipsum.</p>";
    Document doc = Jsoup.parseBodyFragment(html);
    Element body = doc.body();
    

    说明

    parseBodyFragment 方法创建一个空壳的文档,并插入解析过的HTML到body元素中。假如你使用正常的 Jsoup.parse(String html) 方法,通常你也可以得到相同的结果,但是明确将用户输入作为 body片段处理,以确保用户所提供的任何糟糕的HTML都将被解析成body元素。

    Document.body() 方法能够取得文档body元素的所有子元素,与 doc.getElementsByTag("body")相同。

    保证安全Stay safe

    假如你可以让用户输入HTML内容,那么要小心避免跨站脚本攻击。利用基于 Whitelist 的清除器和 clean(String bodyHtml, Whitelist whitelist)方法来清除用户输入的恶意内容。

    3、从一个URL加载一个Document

    存在问题

    你需要从一个网站获取和解析一个HTML文档,并查找其中的相关数据。你可以使用下面解决方法:

    解决方法

    使用 Jsoup.connect(String url)方法:

    Document doc = Jsoup.connect("http://example.com/").get();
    String title = doc.title();
    

      

    说明

    connect(String url) 方法创建一个新的 Connection, 和 get() 取得和解析一个HTML文件。如果从该URL获取HTML时发生错误,便会抛出 IOException,应适当处理。

    Connection 接口还提供一个方法链来解决特殊请求,具体如下:

    Document doc = Jsoup.connect("http://example.com")
      .data("query", "Java")
      .userAgent("Mozilla")
      .cookie("auth", "token")
      .timeout(3000)
      .post();
    

      

    这个方法只支持Web URLs (httphttps 协议); 假如你需要从一个文件加载,可以使用parse(File in, String charsetName) 代替。

    4、从一个文件加载一个文档

    问题

    在本机硬盘上有一个HTML文件,需要对它进行解析从中抽取数据或进行修改。

    办法

    可以使用静态 Jsoup.parse(File in, String charsetName, String baseUri) 方法:

    File input = new File("/tmp/input.html");
    Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
    

     

    说明

    parse(File in, String charsetName, String baseUri) 这个方法用来加载和解析一个HTML文件。如在加载文件的时候发生错误,将抛出IOException,应作适当处理。

    baseUri 参数用于解决文件中URLs是相对路径的问题。如果不需要可以传入一个空的字符串。

    另外还有一个方法parse(File in, String charsetName) ,它使用文件的路径做为 baseUri。 这个方法适用于如果被解析文件位于网站的本地文件系统,且相关链接也指向该文件系统。

    参考链接:

    Jsoup 官网教程(英文)

    Jsoup 中文教程

  • 相关阅读:
    PyQt5使用http请求获取天气
    Qt获取某地的天气情况
    各种编码方式
    Qt获取天气信息并解析
    QFile读文件
    QUrl
    Android数据库升级、降级、创建(onCreate() onUpgrade() onDowngrade())的注意点
    adb命令开关蓝牙及NFC
    fragment重叠问题解决方法
    Android跨进程启动另外一个应用界面时存在的问题解决办法
  • 原文地址:https://www.cnblogs.com/panie2015/p/6207480.html
Copyright © 2011-2022 走看看