zoukankan      html  css  js  c++  java
  • c# 获取网页源代码(可解决某些页面乱码的问题)

      private string GetHtmlCode(string url)
             {
                 string htmlCode;
                 HttpWebRequest webRequest = (System.Net.HttpWebRequest)System.Net.WebRequest.Create(url);
                 webRequest.Timeout = 30000;
                 webRequest.Method = "GET";
                 webRequest.UserAgent = "Mozilla/4.0";
                 webRequest.Headers.Add("Accept-Encoding", "gzip, deflate");
                 HttpWebResponse webResponse = (System.Net.HttpWebResponse)webRequest.GetResponse();
                  if (webResponse.ContentEncoding.ToLower() == "gzip")//如果使用了GZip则先解压
                  {
                      using (System.IO.Stream streamReceive = webResponse.GetResponseStream())
                      {
                          using (var zipStream =
                              new System.IO.Compression.GZipStream(streamReceive, System.IO.Compression.CompressionMode.Decompress))
                          {
                              using (StreamReader sr = new System.IO.StreamReader(zipStream, Encoding.Default))
                             {
                                 htmlCode = sr.ReadToEnd();
                             }
                         }
                     }
                 }
                 else
                 {
                     using (System.IO.Stream streamReceive = webResponse.GetResponseStream())
                     {
                         using (System.IO.StreamReader sr = new System.IO.StreamReader(streamReceive, Encoding.Default))
                         {
                             htmlCode = sr.ReadToEnd();
                        }
                     }
                 }
     
                 return htmlCode;
            }
  • 相关阅读:
    产生sql语句的vba
    如何在IIS7或IIS7.5中导入导出站点及应用程序池. -摘自网络
    [js高手之路] es6系列教程
    [js高手之路] es6系列教程
    [js高手之路] es6系列教程
    [js高手之路] es6系列教程
    最通俗易懂的javascript变量提升
    [js高手之路] es6系列教程
    学生问的一道javascript面试题[来自腾讯]
    Java关键字final、static使用总结(转)
  • 原文地址:https://www.cnblogs.com/8765h/p/2373630.html
Copyright © 2011-2022 走看看