zoukankan      html  css  js  c++  java
  • 如何抓取网页数据、分析并且去除Html标签C#(转载)

    <@Aattention Content='本Blog原创文章,转载或引用请注明转载' From='Robby.cnblogs.com'@>

             由于自己的搜索引擎中做到了这一块内容,所以今天说说如何抓取网页数据、分析并且去除Html标签,给大家提供一个参考。我的平台是Visual Studio2005,C#。

    —————————————————————割—————————————————————————

             首先将网页内容整个抓取下来,这个我就不说了,不是本次话题的重点。假设抓取的数据放在RecvBuffer这个byte[]中(数据从网络上传输过来时不是字符串的形式而是byte),那么我们的第一步就是将RecvBuffer转化为String,以便于对其操作,实例如下:
      // 将接收到的数据增加到响应字符串中
         strResponse += Encoding.ASCII.GetStringRecvBuffer, 0, nBytes;
             strResponse即是保存数据的字符串,此处用系统自带的System.Text.Encoding的方法转化 RecvBuffer,GetString的第一个参数RecvBuffer就是我们的原始数据,即包含需要解码的字节序列的字节数组;第二个参数0代表 第一个要解码的字节的索引,一般就从0开始;第三个参数nBytes为要解码的字节数,可以自己调整。

             得到了数据的字符串形式,然后可以对网页进行解析了(其实就是对字符串的各种操作和正则表达式的应用)。下面我以几个例子来说明对网页数据的解析:
      // 解析页面,查找链接
      
    // 此处尚需扩展,还有某些形式的链接不被识别
      string strRef = @'href|HREF|src|SRC|action|ACTION|Action[ ]*=[ ]*[''']['''#>]+[''']';
         MatchCollection matches
    = new RegexstrRef.MatchesstrResponse;
         strStatus
    += '找到: '+matches.Count+' 个链接rn';
             上面的例子将网页中的链接解析出来,strRef变量表示了正则表达式的模式,变量matches表示符合匹配的项目的集合,后面的 RegexstrRef.MatchesstrResponse就是创建正则规则使得strResponse里符合strRef模式的字符串都返回。然后 调用matches的变量就可以取得各种信息了。
             当然,这里只能识别一些基本的链接形式,像script中的链接和一些不带“”的链接都没有被支持,这个的扩展还是蛮简单的。
             再举几个更简单点的解析的例子,大家学习学习:
      //获取标题
         Match TitleMatch = Regex.MatchstrResponse, '<title>[<]*</title>', RegexOptions.IgnoreCase | RegexOptions.Multiline;
         title
    = TitleMatch.Groups[1].Value;

      
    //获取描述信息
         Match Desc = Regex.MatchstrResponse, '<Meta name='DESCRIPTION' content='[<]*'>', RegexOptions.IgnoreCase | RegexOptions.Multiline;
         strdesc
    = Desc.Groups[1].Value;

      
    //获取网页的大小
         size = strResponse.Length;

    —————————————————————割—————————————————————————

             好了,下面说一下如何去除Html标签,这个想必有很多初学者很需要。其实还是正则表达式和字符串基本操作的应用,由于这个功能还是比较常用的,所以例子写成了函数,便于调用:
      /// <summary>
      
    /// 将Html标签转化为空格
      
    /// </summary>
      
    /// <param name='strHtml'>待转化的字符串</param>
      
    /// <returns>经过转化的字符串</returns>

      private string stripHtmlstring strHtml
      
    {
            Regex objRegExp
    = new Regex'<.|n+?>';
         
    string strOutput = objRegExp.ReplacestrHtml, '';
            strOutput
    = strOutput.Replace'<', '&lt;';
            strOutput
    = strOutput.Replace'>', '&gt;';
         
    return strOutput;
         }
             ok,这样一来Html标签就基本没了,但是有些例外会使得去除不干净,所以建议连续两次转化,这样就搞定了。但是还没结束,如果你留意的话,可以看到上 面的函数其实是将Html标签转化为了空格。太多连续的空格会影响之后对字符串的操作。所以再加入这样的语句:
      //把所有空格变为一个空格
         Regex r = new Regex@'s+';
         wordsOnly
    = r.ReplacestrResponse, ' ';
         wordsOnly.Trim;
    转自:
    http://hi.baidu.com/zzcc_8/blog/item/d600befb7cc7df1f6d22ebd1.html
  • 相关阅读:
    BZOJ 2219 数论之神 (CRT推论+BSGS+原根指标)
    BZOJ 2618: [Cqoi2006]凸多边形 (半平面交)
    BZOJ 1038: [ZJOI2008]瞭望塔
    BZOJ 1007: [HNOI2008]水平可见直线 (半平面交)
    BZOJ 1845: [Cqoi2005] 三角形面积并 (辛普森积分)
    BZOJ 2458: [BeiJing2011]最小三角形 (分治)
    BZOJ 3210: 花神的浇花集会 (切比雪夫距离)
    BZOJ 2013 : [Ceoi2010]A huge tower / Luogu SP6950 CTOI10D3
    BZOJ 3630: [JLOI2014]镜面通道 (网络流 +计算几何)
    bzoj 2820 YY的GCD
  • 原文地址:https://www.cnblogs.com/johnwonder/p/1909983.html
Copyright © 2011-2022 走看看