zoukankan      html  css  js  c++  java
  • C#抓取网页HTML内容

      网上很多内容采集工具,今天就自己试着写一个,发现C#可以轻松的抓去网页的内容,进而通过正则来分离出自己感兴趣的数据。下面是抓去网页内容的代码:

    using System;
    using System.Collections.Generic;
    using System.Linq;
    using System.Web;
    using System.Net;
    using System.Text;
    using System.IO;
    using System.Text.RegularExpressions;
    
    namespace Web
    {
       /// <summary>  
       /// 公共方法类  
       /// </summary>  
       public class WebHandler
       {
          /// <summary>  
          /// 获取网页的HTML码  
          /// </summary>  
          /// <param name="url">链接地址</param>  
          /// <param name="encoding">编码类型</param>  
          /// <returns></returns>  
          public static string GetHtmlStr(string url, string encoding)
          {
             string htmlStr = "";
             try
             {
                if (!String.IsNullOrEmpty(url))
                {
                   WebRequest request = WebRequest.Create(url);            //实例化WebRequest对象  
                   WebResponse response = request.GetResponse();           //创建WebResponse对象  
                   Stream datastream = response.GetResponseStream();       //创建流对象  
                   Encoding ec = Encoding.Default;
                   if (encoding == "UTF8")
                   {
                      ec = Encoding.UTF8;
                   }
                   else if (encoding == "Default")
                   {
                      ec = Encoding.Default;
                   }
                   StreamReader reader = new StreamReader(datastream, ec);
                   htmlStr = reader.ReadToEnd();                  //读取网页内容  
                   reader.Close();
                   datastream.Close();
                   response.Close();
                }
             }
             catch { }
             return htmlStr;
          }
       }  
       
    }

    这个方法可以获取网页的HTML内容,有了HTML我们就可以通过正则来抓去自己想要的内容了。。。

  • 相关阅读:
    C# 与Sql server 获取数据和执行命令
    关于*.ashx 处理程序调试时 未能创建类型 错误
    winform 利用Http向服务器上传与下载文件
    CSS 使用absolute 是<div>居中
    C# int[,] 和 int[][]
    《Head First JavaScript》 学习笔记
    【单片机】关于头文件
    【单片机】【710】定时器
    【C#】委托
    【C#】关于接口的理解
  • 原文地址:https://www.cnblogs.com/yunfeifei/p/3842761.html
Copyright © 2011-2022 走看看