zoukankan      html  css  js  c++  java
  • 从网上收集EMail(正则表达式,C#源码)

        最近一直琢磨着写一个网络蜘蛛程序,专门负责收集一些自己感兴趣的东西。用.net写程序从网上取得网页源码比较容易实现,蜘蛛程序的难点在于两个方面,一是如何多线程的自动化处理(即从一个地址跳到另一个地址),另一个是从网页中提取指定的信息。自动化处理方面正在研究,从网页中提取信息,我觉得网上某些网友用String/StringBuilder来处理的方法不可取,用“正则表达式”无疑是最好的。尽管“正则表达式”不容易书写,但查一查资料,还是不难的。
        以下是我写的一个从网页中抓取EMail的方法,可以处理带分页的link。用这个程序,我一下子从一个网页中提取到3000多个EMail(哈哈,发垃圾邮件的人是不是也这样做的??)
     1       //CAll
     2        private void GetAllURL(string urlStr)
     3        {
     4            new Thread(new ParameterizedThreadStart(GetEmailAddress)).Start(urlStr);  
                     ...    //处理页面中的Link 
                    }

     5        /// <summary>
     6        /// 提取网页中的Eamil
     7        /// </summary>
     8        /// <param name="urlStr">网页地址</param>

     9        private void GetEmailAddress(object urlStr)
    10        {
    11            ArrayList EmailStrs = GetWebInfo((string)urlStr, @"(?<EmailStr>\b[A-Z0-9._%-]+@[A-Z0-9._%-]+\.[A-Z]{2,4}\b)");   //得到Email
    12            foreach (object tmp in EmailStrs)
    13            {
    14                Invoke(new AppendTextDelegate(AppendText), new object[] { tmp + "\r\n" });
    15            }

    16        }

    17  
    18        private ArrayList GetWebInfo(string URlStr,string RegExpress)
    19        {
    20            //打开指定页
    21            HttpWebRequest webRequest1 = (HttpWebRequest)WebRequest.Create(new Uri(URlStr));
    22            webRequest1.Method = "GET";
    23            HttpWebResponse response = (HttpWebResponse)webRequest1.GetResponse();
    24            String textData = new StreamReader(response.GetResponseStream(), Encoding.Default).ReadToEnd();
    25
    26
    27            //用正则表达式,提取指定内容,带一个变量
    28            Regex r;
    29            Match m;
    30            r = new Regex(RegExpress,   //@"copyTitle.\'(?<AdInfo>.*)\'",
    31                RegexOptions.IgnoreCase | RegexOptions.Compiled);
    32            int pos1=RegExpress.IndexOf("(?<");
    33            int pos2=RegExpress.IndexOf(">",pos1);
    34            string DestionKey = RegExpress.Substring(pos1 + 3, pos2 - pos1 - 3);
    35            string  AdStr = "";
    36            ArrayList Result = new ArrayList();
    37            for (m = r.Match(textData); m.Success; m = m.NextMatch())
    38            {
    39                AdStr = m.Result("${" + DestionKey + "}").Trim();   //地址
    40                Result.Add(AdStr);
    41            }

    42            return Result;
    43        }

    44

    上述代码中的关键是书写提取EMail的表达式:
                   @"(?<EmailStr>\b[A-Z0-9._%-]+@[A-Z0-9._%-]+\.[A-Z]{2,4}\b)"
    以下是我写的一个程序界面及运行结果:


  • 相关阅读:
    abstract关键字
    final关键字
    Vue使用枚举类型实现HTML下拉框
    第八节 pandas读取和保存文件
    第七节 pandas新建数据框的两种方式
    第六节 numpy的常用属性和方法
    第五节 numpy的简单使用
    第三节 matplotlib绘制直方图
    第三节 matplotlib绘制条形图
    第二节 matplotlib绘制散点图
  • 原文地址:https://www.cnblogs.com/yuanbao/p/929914.html
Copyright © 2011-2022 走看看