zoukankan      html  css  js  c++  java
  • C#解析HTML利器-Html Agility Pack

    今天刚开始做毕设....好吧,的确有点晚。我的毕设设计需要爬取豆瓣的电影推荐,于是就需要解析爬取下来的html,之前用Python玩过解析,但目前我使用的是C#,我觉得C#不比python差,有微软大大在,这个不需要担心,主要还是生态问题。查了下资料,发现Html Agility Pack是比较好的,当然还有其他的,我就不说了,主要使用它做的。

        官网地址(可以自己去下载dll):

        http://html-agility-pack.net/select-nodes

        参考:Html Agility Pack基础类介绍及运用

        代码设计:

    static void complete(object o, AsyncCompletedEventArgs e) 
     { 
     // 开始解析html 
     var doc = new HtmlDocument(); 
     doc.Load( "E:程序文件C#程序代码ValidateConsoleApplication1movie.txt", Encoding.UTF8); 
     List<string> movie = new List<string>(); 
     
     //  
     HtmlNodeCollection nodeCollection = doc.DocumentNode.SelectNodes("//ul/li[ class="title"]"); 
     foreach (HtmlNode n in nodeCollection) 
     { 
     Console.WriteLine(n.InnerHtml.Trim()); 
     movie.Add(n.InnerText.Trim()); 
     } 
     
     
     //获取豆瓣最受欢迎影评 
     HtmlNodeCollection nodeCollection1 = doc.DocumentNode.SelectNodes("//div[ class="review-bd"]/h3"); 
     foreach (HtmlNode n in nodeCollection1) 
     { 
     Console.WriteLine(n.InnerHtml.Trim()); 
     movie.Add(n.InnerText.Trim()); 
     } 
      
     foreach(var m in movie) 
     { 
     Console.WriteLine(m); 
     } 
     
     File.Delete( "E:程序文件C#程序代码ValidateConsoleApplication1movie.txt"); 
     } 
     
     static void Main(string[] args) 
     { 
     Console.BufferHeight = 10000; 
     Console.BufferWidth = 10000; 
     string moviePath =  "E:程序文件C#程序代码ValidateConsoleApplication1movie.txt"; 
     WebClient wc = new WebClient(); 
     wc.UseDefaultCredentials = true; 
     wc.DownloadFileAsync(new Uri("https://movie.douban.com/"), moviePath); 
     wc.DownloadFileCompleted += new AsyncCompletedEventHandler(complete); 
     
     Console.Read(); 
     }

    对于WebClient文档,请看https://msdn.microsoft.com/zh-cn/library/system.net.webclient(v=vs.110).aspx

        不得不说,微软官网的系列文档真是良心!以前也是听人说过,微软的解决方案以及文档很全,但是一直查资料都是直接百度,现在换了一种,直接上微软官网查....真是良心!而且例子是比较经典的!

  • 相关阅读:
    机器学习 —— 多元线性回归
    利用Python实现kNN算法
    Python下的OpenCV学习 02 —— 图像的读取与保存
    Python下的OpenCV学习 01 —— 在Linux下安装OpenCV
    Linux check whether hyperthreading is enabled or not
    Centos7 安装单节点Torque PBS
    CentOS 7中以runfile形式安装CUDA 9.0
    Linux /etc/profile文件详解
    Linux下Makefile学习笔记
    使用 Eigen 3.3.3 进行矩阵运算
  • 原文地址:https://www.cnblogs.com/zhiyong-ITNote/p/8448865.html
Copyright © 2011-2022 走看看