C#基础 读取网页内容 代码示例

　　C#读取网页内容主要有使用WebClient和使用HttpWebResponse两种方法，下面我分别写了两种方法以做示例。

　　其中将内容输出到文件中的方法，若不了解需先阅读：

　　C#基础 字符串读取/写入文本文件 代码示例

    public class WebCrawler
    {
        /// <summary>
        /// 使用WebClient，将指定网址的内容输出到指定文件内
        /// </summary>
        /// <param name="url">网址</param>
        /// <param name="path">输出文件路径</param>
        /// <param name="encoding">文件编码格式</param>
        public void GetContextByClient(string url, string path, Encoding encoding)
        {
            WebClient MyWebClient = new WebClient();
            //获取或设置用于向Internet资源的请求进行身份验证的网络凭据
            MyWebClient.Credentials = CredentialCache.DefaultCredentials;
            //从指定网站下载数据
            byte[] pageData = MyWebClient.DownloadData(url);
            //使用指定字符集，转换为字符串
            string pageHtml = encoding.GetString(pageData);
            //在控制台输出获取的内容
            Console.WriteLine(pageHtml);
            //写入文件
            System.IO.File.WriteAllBytes(path, pageData);
        }
        /// <summary>
        /// 使用HttpWebResponse，将指定网址的内容输出到指定文件内
        /// </summary>
        /// <param name="url">网址</param>
        /// <param name="path">输出文件路径</param>
        /// <param name="encoding">文件编码格式</param>
        public void GetContextByHttp(string url, string path, Encoding encoding)
        {
            Uri httpURL = new Uri(url);
            //HttpWebRequest类继承于WebRequest，并没有自己的构造函数
            //需通过WebRequest的Creat方法建立，并进行强制的类型转换 
            HttpWebRequest httpReq = (HttpWebRequest)WebRequest.Create(httpURL);
            ///通过HttpWebRequest的GetResponse()方法建立HttpWebResponse,强制类型转换
            HttpWebResponse httpResp = (HttpWebResponse)httpReq.GetResponse();
            //GetResponseStream()方法获取HTTP响应的数据流,并尝试取得URL中所指定的网页内容
            //若成功取得网页的内容，则以System.IO.Stream形式返回，
            //若失败则产生ProtoclViolationException错误。
            // 在此正确的做法应将以下的代码放到一个try块中处理。这里简单处理 
            Stream respStream = httpResp.GetResponseStream();
            ///返回的内容是Stream形式的，所以可以利用StreamReader类获取GetResponseStream的内容，并以
            ///StreamReader类的Read方法依次读取网页源程序代码每一行的内容，直至行尾 
            StreamReader respStreamReader = new StreamReader(respStream, encoding);
            string context = respStreamReader.ReadToEnd();
            respStream.Close();
            StreamWriter sw = new StreamWriter(path, false, encoding);
            sw.Write(context);
        }
    }