zoukankan      html  css  js  c++  java
  • HtmlAgilityPack 抓取页面的乱码处理

    利用HtmlAgilityPack抓取页面很方便,但是当页面是gb2312编码时候就会出现乱码,上网查了一下说是默认的获取页面方法不够成熟,具体什么的我也不知道,姑且就认为是不够成熟吧。

    HtmlWeb htmlWeb = new HtmlWeb();
    HtmlDocument htmlDocument = htmlWeb.Load(@url);
    

    解决方法如下:

    新建一个方法来获取 HtmlDocument,传进来的是抓取页面的地址

           private static HtmlDocument GetHtmlDocument(string url)
            {
                HttpWebRequest httpWebRequest = WebRequest.Create(new Uri(@url)) as HttpWebRequest;
                httpWebRequest.Method = "GET";
                WebResponse webResponse = httpWebRequest.GetResponse();
                Stream stream = webResponse.GetResponseStream();
                HtmlDocument htmlDocument = new HtmlDocument();
                htmlDocument.Load(stream);
    
                return htmlDocument;
            }
    

    根据@无机の剑 的评论,用这个属性就解决了(O(∩_∩)O~):

    HtmlWeb htmlWeb = new HtmlWeb(); 
    htmlWeb.OverrideEncoding = Encoding.GetEncoding("gb2312");
    

     这样就可以啦!至于后面的使用方法都一样,具体可以参考这个博客,讲的很详细哈 http://www.cnblogs.com/linfei721/archive/2013/05/08/3066697.html

  • 相关阅读:
    Matplotlib 绘图库 基本使用方法
    linux socat命令
    linux shell重定向
    linux man命令
    bashttpd使用手册
    libcurl代码示例
    vim文件头部注释配置
    linux join命令
    iterm2切换显示屏vim乱行解决
    分形与混沌
  • 原文地址:https://www.cnblogs.com/tracyjfly/p/3134094.html
Copyright © 2011-2022 走看看