zoukankan      html  css  js  c++  java
  • C#抓取网页HTML内容

    640?wx_fmt=png

    using System;

    using System.Collections.Generic;

    using System.Linq;

    using System.Web;

    using System.Net;

    using System.Text;

    using System.IO;

    using System.Text.RegularExpressions;


    namespace Web

    {

       /// <summary>  

       /// 公共方法类  

       /// </summary>  

       public class WebHandler

       {

          /// <summary>  

          /// 获取网页的HTML码  

          /// </summary>  

          /// <param name="url">链接地址</param>  

          /// <param name="encoding">编码类型</param>  

          /// <returns></returns>  

          public static string GetHtmlStr(string url, string encoding)

          {

             string htmlStr = "";

             try

             {

                if (!String.IsNullOrEmpty(url))

                {

                   WebRequest request = WebRequest.Create(url);            //实例化WebRequest对象  

                   WebResponse response = request.GetResponse();           //创建WebResponse对象  

                   Stream datastream = response.GetResponseStream();       //创建流对象  

                   Encoding ec = Encoding.Default;

                   if (encoding == "UTF8")

                   {

                      ec = Encoding.UTF8;

                   }

                   else if (encoding == "Default")

                   {

                      ec = Encoding.Default;

                   }

                   StreamReader reader = new StreamReader(datastream, ec);

                   htmlStr = reader.ReadToEnd();                  //读取网页内容  

                   reader.Close();

                   datastream.Close();

                   response.Close();

                }

             }

             catch { }

             return htmlStr;

          }

       }  

       

    }


  • 相关阅读:
    datatables插件适用示例
    RabbitMQ三----'任务分发 '
    ftp上传下载
    运用JS导出ecxel表格、实现文件重命名
    浅谈MySQL索引背后的数据结构及算法【转】
    SQL语句导致性能问题
    由浅入深理解索引的实现【转】
    MySQL ACID及四种隔离级别的解释
    MyISAM引擎和InnoDB引擎的特点
    MySQL复制中slave延迟监控
  • 原文地址:https://www.cnblogs.com/hgmyz/p/12351400.html
Copyright © 2011-2022 走看看