zoukankan      html  css  js  c++  java
  • 用HttpWebRequest取得网页源码

      用HttpWebRequest取得网页源码 

    不如PHP方便。

    /// <summary>   
            /// 用HttpWebRequest取得网页源码   
            /// 对于带BOM的网页很有效,不管是什么编码都能正确识别   
            /// </summary>   
            /// <param name="url">网页地址" </param>    
            /// <returns>返回网页源文件</returns>   
            public static string GetHtmlSource(this string url)
            {
                //处理内容   
                string html = "";
                HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
                request.Accept = "*/*"; //接受任意文件
                request.UserAgent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.1.4322)"; // 模拟使用IE在浏览
                request.AllowAutoRedirect = true;//是否允许302
                //request.CookieContainer = new CookieContainer();//cookie容器,
                request.Referer = url; //当前页面的引用

                HttpWebResponse response = (HttpWebResponse)request.GetResponse();
                Stream stream = response.GetResponseStream();
                StreamReader reader = new StreamReader(stream, Encoding.Default);
                html = reader.ReadToEnd();
                stream.Close();

                return html;
            }

  • 相关阅读:
    Java解析XML(一)、SAX
    Java注解
    NTKO OFFICE文档控件为何不能自动装载?
    Java解析XML(二)、DOM
    JAVA反射机制
    如何手工卸载和安装NTKO OFFICE文档控件
    使用内省的方式操作JavaBean
    JDK自带的native2ascii转码工具使用详解
    HTTP协议详解
    跳过编译器,获取泛型参数的实际类型
  • 原文地址:https://www.cnblogs.com/haiconc/p/2349914.html
Copyright © 2011-2022 走看看