zoukankan      html  css  js  c++  java
  • c#采集网页用得几个函数

    代码
    public  string GetHtmlSource(string Url, string charset)
            {
                
    if (charset == "" || charset == null) charset = "gb2312";
                
    string text1 = "";
                
    try
                {
                    HttpWebRequest request1 
    = (HttpWebRequest)WebRequest.Create(Url);
                    HttpWebResponse response1 
    = (HttpWebResponse)request1.GetResponse();
                    Stream stream1 
    = response1.GetResponseStream();
                    StreamReader reader1 
    = new StreamReader(stream1, Encoding.GetEncoding(charset));
                    text1 
    = reader1.ReadToEnd();
                    stream1.Close();
                    response1.Close();
                }
                
    catch (Exception exception1)
                {
                }
                
    return text1;
            }

     
    public string SniffwebCode(string code, string wordsBegin, string wordsEnd)
            {
                
    string NewsTitle = "";
                Regex regex1 
    = new Regex("" + wordsBegin + @"(?<title>[\s\S]+?)" + wordsEnd + "", RegexOptions.Compiled | RegexOptions.IgnoreCase);
                
    for (Match match1 = regex1.Match(code); match1.Success; match1 = match1.NextMatch())
                {
                    NewsTitle 
    = match1.Groups["title"].ToString();
                }
                
    return NewsTitle;

            }

    public ArrayList SniffwebCodeReturnList(string code, string wordsBegin, string wordsEnd)
            {
                ArrayList urlList 
    = new ArrayList();
                
    //string NewsTitle = "";
                Regex regex1 = new Regex("" + wordsBegin + @"(?<title>[\s\S]+?)" + wordsEnd + "", RegexOptions.Compiled | RegexOptions.IgnoreCase);
                
    for (Match match1 = regex1.Match(code); match1.Success; match1 = match1.NextMatch())
                {
                    urlList.Add(match1.Groups[
    "title"].ToString());
                }
                
    return urlList;

            }
  • 相关阅读:
    python random 随机选择操作
    分类预测,交叉验证调超参数
    7种炫酷HTML5 SVG液态水滴融合分解动画特效
    SAP WEBSERVICE Soap中RPC-style和Document-style
    Cocos2d-x 3.0final 终结者系列教程02-开发环境的搭建
    C#创建Excel文件并将数据导出到Excel文件
    某一天,忽然发现自己坚持不下去了。(无关计算机,仅仅是一些自己的困惑和感想)
    HDU4300-Clairewd’s message-KMP
    Java深入
    IOS UITextView光标位置在中间的问题
  • 原文地址:https://www.cnblogs.com/hantianwei/p/1706444.html
Copyright © 2011-2022 走看看