zoukankan      html  css  js  c++  java
  • .net抓取网页信息

      往往在实际开发中,经常会用到一些如抓取网站信息之类的的操作,往往大家采用的是用一些正则的方式获取,但是有时候正则是很死板的,我们常常试想能不能使用jquery的选择器,获取符合自己要求的元素,然后进行操作,例如:我想获取一个网页中关于一款产品的链接,并从这些链接中获取相应产品的数据。如果写正则匹配网址也是 很纠结的事情。但如果能使用jquery选择器难道hrefvalue,然后在验证 就是 一件非常愉快的事情了。

      首先介绍一些今天用的框架:Jumony,这是一个html解析器。(关于html解析器,顾名思义就是对一段html 文本进行解析,解析成可以操作的元素。)当然这并不只是一套html解析器,他还有mvc引擎的功能。

    项目地址:https://github.com/Ivony/Jumony

     

      然后说下这个框架中的术语:

     

      元素(IHtmlElement)

    元素是 HTML 中最常见的一种对象,如下的 HTML 代码便定义了一个元素:

    <a href="#title">Text</a>

    元素一般由一个开始标签、一个结束标签以及在标签之间的 HTML 内容组成。在上例中, <a href="#title">是开始标签, </a>是结束标签,Text是元素的内容。

    也有一些元素不能包含任何内容,这些元素的在 HTML 代码中便没有结束标签,如:

    <img src="http://images.cnblogs.com/logo.png">

     抽象:

    由于元素可以包含其他的内容,所以元素满足容器(Container)的抽象。而元素也同时是 HTML 文档内容的一部分,所以元素同时也是一个节点(Node)。

      属性(IHtmlAttribute)

    属性是元素的一部分,定义在元素的开始标签中,如下的 HTML 定义了一个元素,并且这个元素也包含了一个属性:

    <img src="http://images.cnblogs.com/logo.png">

    其中的 src="/images.logo.png" 便是一个属性。属性由属性名和属性值所组成,其中src是属性名,而 "/images.logo.png" 则是属性值。 一个元素也可以由多个属性组成:

     抽象:

    值得注意的是,属性是元素的一部分,并不直接是 HTML 文档内容的一部分,所以属性并不是一个节点(Node)。

      注释(IHtmlComment)

    注释是 HTML 中的一种特殊的标签,下面的 HTML 代码定义了一个注释

    <!--Comment Content-->

    其中的 Comment Content 即是注释内容。注释内容会被 HTML 排版引擎所忽略。

     抽象:

    与元素一样,注释也是 HTML 文档内容的一部分,所以注释也是一个节点(Node)。

      文本节点(IHtmlTextNode)

    所有没有被尖括号<>括起来的内容,都是 HTML 文本节点。例如:

    文本A<p>文本内容<p>文本B

    其中的 文本A 、文本内容 、 文本B 都是 HTML 文本节点

     抽象:

    与元素一样,文本节点也是 HTML 文档内容的一部分,所以文本节点是一个节点(Node)。

      特殊节点(IHtmlSpecial)

    特殊节点并不是 HTML 标准的一部分,所有无法被识别的标签,都会被分析器解释为特殊节点。例如 DOCTYPE 声明:

    <!DOCTYPE html>

    或者是代码片段

    <%=Eval( "name" )%>

     抽象:

    与元素和注释一样,特殊节点也是 HTML 文档内容的一部分,所以特殊节点是一个节点(Node)。

      文档片段(IHtmlFragment)

    文档片段是一种特殊的 DOM 对象,其表现为不存在于当前 HTML 文档中的一小段 HTML 片段,文档片段可以随时被插入到文档的指定位置。插入到具体位置后,原有的文档片段对象即被销毁。

    文档片段可以通过解析 HTML 而得到

     抽象:

    文档可以包含其他内容节点,所以与元素一样,文档也是一个容器。

      文档(IHtmlDocument)

    HTML 文档是所有 DOM 对象的根对象,所有的 DOM 对象必然属于某个文档。

    文档包含一个可选的 HTML 文档类型声明,一系列的子节点和文档片段。在某个文档上创建的文档片段,只能插入到这个文档的之中。

    文档决定了整个 DOM 结构的具体实现,以及依据的 HTML 规范版本,这些将进一步影响到所有 API 的行为。所以针对A文档和B文档的同一个API的行为可能是不同的。

     抽象:

    文档可以包含其他内容节点,所以与元素一样,文档也是一个容器。

      容器(IHtmlContainer)

    容器是一个抽象对象,其被定义为可以包含子节点的对象。所以,文档、元素、文档片段均符合容器抽象。

    IHtmlContainer 接口定义了一个 Nodes 方法获取容器的所有子节点。而 Jumony API 则提供了丰富多样的导航方法可以利用 CSS 选择器查找容器的所有子元素、子代元素。同时,所有的容器都支持 InnerHtml 和 InnerText 方法获取其内容

      节点(IHtmlNode)

    节点也是一个抽象对象,其被定义为包含在容器中在文档上有确定位置的对象,元素、文本节点、注释节点和特殊节点均符合节点抽象。但值得注意的是,属性并不是节点。

    IHtmlNode 接口定义了 Container 方法获取节点所属的容器。Jumony API 提供了丰富的导航方法可以获取节点的所有父代、兄弟节点和元素以及前后节点和元素。同时,所有的节点都支持 OuterHtml 方法。

      DOM 对象(IHtmlDomObject)

    DOM 对象是上面所有对象的抽象。由于文档决定了 DOM 结构的具体实现和所依据的 HTML 规范,所以所有的 DOM 对象的行为均由文档对象决定。故而 IHtmlDomObject 接口定义 Document 属性用于获取 DOM 对象所属的文档。

     

     

    使用方式:

    首先引用 一堆dll

    Ivony.Core.dll

    Ivony.Html.dll

    Ivony.Html.Parser.dll

    Ivony.Html.Parser.Regulars.dll

     

     1 然后加载网址
     2 
     3 var doc = new JumonyParser().LoadDocument("http://www.baidu.com");
     4 
     5 然后查找你想要的元素
     6 
     7 //查找所有 img 地址
     8 
     9 var ans=doc.Find("img[src]");
    10 
    11 //打印所有src的值
    12 
    13 foreach (var htmlElement in ans)
    14 
    15 {
    16 
    17 Console.WriteLine(htmlElement.Attribute("src").AttributeValue);
    18 
    19 }
  • 相关阅读:
    Nginx 集群 反向代理多个服务器
    Nginx 反向代理
    Nginx 图片服务器
    网鼎杯 pwn 记录
    demo.testfire.net 靶场测试流程记录
    靶场测试系列(已办清单)
    Burp Suite插件推荐
    ida不错的插件记录
    0ctf2017-babyheap
    0ctf2018 pwn
  • 原文地址:https://www.cnblogs.com/rufus-hua/p/3487503.html
Copyright © 2011-2022 走看看