zoukankan      html  css  js  c++  java
  • 网页抓取解析,使用JQuery选择器进行网页解析

    最近开发一个小功能,数据库中一个基础表的数据从另一个网站采集。

    因为网站的数据不定时更新,需要更新后自动采集最新的内容。

    怎么判断更新数据没有?

    好在网站有一个更新日志提示的地方,只需要对比本地保留的更新日志和最新日志是否一致。

    解析网页源码是个难点,有使用正则表达式的。

    但我对正则表达式使用不多,搜索了下在网上找了个开源类库ScrapySharp。

    为什么使用这个类库了?

    因为可以使用JQuery的css选择器方便的解析网页。

    现在就这块的代码贴出来,需要的人可以参照下。

    var browser = new ScrapingBrowser();             
    browser.Encoding = System.Text.Encoding.UTF8;
    
    string html = browser.DownloadString(new Uri("urlAddress"));//获取网页的源码
    
    var doc = new HtmlAgilityPack.HtmlDocument();             
    doc.LoadHtml(html);
    var docNode = doc.DocumentNode;
    
    IEnumerable<HtmlNode> nodes = docNode.CssSelect(".className");//使用css类选择器获取节点
    string text = row_0_s.ElementAt(0).InnerText;//获取标签的文本
  • 相关阅读:
    document.querySelector和querySelectorAll方法
    Hello World!
    tomcat8总结默认端口默认项目,以及图片上传和展示的路径问题.
    理解java移位运算符
    tomcat8的apr模式配置SLL证书
    SpringData
    JPQL
    JPA多对多
    JPA一对一双向
    JPA一对多单向
  • 原文地址:https://www.cnblogs.com/tanpeng/p/6340873.html
Copyright © 2011-2022 走看看