zoukankan      html  css  js  c++  java
  • 用HttpWebRequest取得网页源码

      用HttpWebRequest取得网页源码 

    不如PHP方便。

    /// <summary>   
            /// 用HttpWebRequest取得网页源码   
            /// 对于带BOM的网页很有效,不管是什么编码都能正确识别   
            /// </summary>   
            /// <param name="url">网页地址" </param>    
            /// <returns>返回网页源文件</returns>   
            public static string GetHtmlSource(this string url)
            {
                //处理内容   
                string html = "";
                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
                request.Accept = "*/*"; //接受任意文件
                request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)"; // 模拟使用IE在浏览
                request.AllowAutoRedirect = true;//是否允许302
                //request.CookieContainer = new CookieContainer();//cookie容器,
                request.Referer = url; //当前页面的引用

                HttpWebResponse response = (HttpWebResponse)request.GetResponse();
                Stream stream = response.GetResponseStream();
                StreamReader reader = new StreamReader(stream, Encoding.Default);
                html = reader.ReadToEnd();
                stream.Close();

                return html;
            }

  • 相关阅读:
    c3p0使用
    连接池介绍
    内存角度探寻C++面向对象 之 继承、多态
    java多线程总结
    SQL关联查询总结
    java内存管理总结
    自制操作系统 (六) 分割编译与中断处理
    C++内联函数
    C++函数指针
    springmvc下实现登录验证码功能
  • 原文地址:https://www.cnblogs.com/haiconc/p/2349914.html
Copyright © 2011-2022 走看看