公司搜索--关于搜索引擎结果的析出

名字有点大，其实就是我女朋友现在所在的这家公司的工作，要求她必须拥有一个很大的南京公司名单，而且现状就是，她知道的公司就屈指可数，更别说是她同事们不知道而她知道的公司了。但是她被要求每天至少找到一个他们公司数据里面没有人公司，所以她只能借住搜索引擎。

上面是做这个东西的原因，起初我是想用网络爬虫来写的，后来操作了个开头，发现，网络爬虫是个大项目，而且涉及到大数据的操作和数据是否最新等特点，觉得没必要。加上时间紧急，她生怕完成不了任务被辞，哎，就快速的用业余时间写了一个小程序。

 

程序的思路很简单，就是通过搜索引擎（以百度为例）构造get型的url，然后在C#里面生成一个request请求，去取得Response，然后从Response里面取得dom，再用正则表达式从dom里面取得自己想要的数据：1、与公司名称匹配度高的字符串；2、路转到搜索结果下一页的地址。将取得的所有公司名称放进到list中，然后遍历去重，再与自己预定义的列表匹配，将不合法的公司名去掉。最张显示出来，加上另存为txt，双击复制等上功能。当然，为了可扩展性，我将取公司名称的正则表达式开放给用户，让用户（我女朋友？肯定不是啊！是我自己）可以尽可能的自定义。

好了，二话不说，上代码：

 

 

 

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.IO;
using System.Linq;
using System.Net;
using System.Text;
using System.Text.RegularExpressions;
using System.Windows.Forms;
using System.Threading;
using System.Collections;


namespace SearchCompany
{
    public partial class Form1 : Form
    {
        Regex rx;
        Thread getCompany;
        public delegate void MyInvoke(string str,int type);
        List<String> lstCom = new List<String>();
        public List<String> lstFackName =new List<string>(){ "公司", "有限公司", "广告公司", "保险公司", "猎头公司", "新公司", "旧公司"};
        public string googleNextPageRx;
        public string baiduNextPageRx;
        public long pagenum;
        public Form1()
        {
            InitializeComponent();
            baiduNextPageRx = "(?<=</a><a href=")/s[^"]*(?="\sclass="n">下一页&gt;</a><span class="nums" style="margin-left:120px">)";
            googleNextPageRx = "";
            textBox1.Text = @"((w)|((w+?)))+(?<=公司)";
        }

        private void Search_Click(object sender, EventArgs e)
        {
            pagenum = 1;
            rx = new Regex(textBox1.Text.Trim());//regex传进来的时候被转义，但是给了rx后又自动转义回去了，所以说，不影响，可以直接写任意正确的正则式；
            lblShow.Text = "";
            lblBug.Text = "";
            lstCompany.Items.Clear();
            getCompany = new Thread(new ThreadStart(MakeCompany));
            getCompany.Name = "getPageAndComputeData";
            getCompany.IsBackground = true;
            getCompany.Start();
        }
        /// <summary>
        /// 子线程对主线程的操作
        /// </summary>
        /// <param name="lblstr">要在主界面上显示的内容</param>
        /// <param name="type">操作类型：1、开始处理网站，显示已经处理多少个正在处理第几个，2、正在获取的数据，3、处理完成，搜索按钮可以点击，4、填充数据，5、显示bug</param>
        public void setFromThread(string lblstr, int type)
        {
            if (lblShow.InvokeRequired)
            {
                MyInvoke _myInvoke = new MyInvoke(setFromThread);
                this.Invoke(_myInvoke, new object[] { lblstr,type });
            }
            else
            {
                if (type == 1)
                {
                    this.Search.Enabled = false;
                    this.AddCompany.Enabled = false;
                    this.lblShow.Text = lblstr;
                }
                else if (type == 2)
                {
                    this.lblShow.Text = lblstr;
                }
                else if (type == 3)
                {
                    this.Search.Enabled = true;
                    this.AddCompany.Enabled = true;
                }
                else if (type == 4)
                {
                    //lstCom中已有数据，现在将它处理优化，再写入lstCompany中
                    lblShow.Text = "正在处理数据，请稍后";
                    List<String> newlst = new List<string>();
                    if (lstCom.Count > 0)
                    {
                        foreach (String str in lstCom.Distinct<String>())
                        {
                            lstCompany.Items.Add(str);
                        }
                    }
                    lblShow.Text=String.Format("数据已经处理完成
共处理{0}个页面
找到名称不重复的公司:{1}家",pagenum.ToString(), lstCompany.Items.Count.ToString());
                    this.Search.Enabled = true;
                    this.AddCompany.Enabled = true;
                }
                else if (type == 5)
                {
                    lblBug.Text += lblstr;
                }
            }
        }

        public void MakeCompany()
        {
            try
            {
                setFromThread("开始获取页面", 1);
                HttpWebRequest request;
                StringBuilder sbPageString = new StringBuilder();
                string oldNextUrl;
                string newNextUrl;
                foreach (string url in lstSite.Items)
                {

                    request = (HttpWebRequest)WebRequest.Create(url);
                    request.MaximumAutomaticRedirections = 500;
                    request.CookieContainer = new CookieContainer();
                    oldNextUrl = url;
                    request.Timeout = 3000;
                    request.Headers.Set("Pragma", "no-cache");
                    HttpWebResponse response = (HttpWebResponse)request.GetResponse();
                    Stream sm = response.GetResponseStream();
                    Encoding ecode = Encoding.GetEncoding("utf-8");
                    StreamReader sr = new StreamReader(sm, ecode);
                    string pages = sr.ReadToEnd();
                    //从pages里面取下一页的地址/s?.*(?="sclass="n">下一页&gt;</a><span class="nums" style="margin-left:120px">)
                    Regex rxNextUrl = new Regex(baiduNextPageRx);
                    Match mcNextUrl = rxNextUrl.Match(pages);

                    //把pages放到sbPageString里面
                    sbPageString.Append(pages.Replace("<em>", "").Replace("</em>", ""));
                    //用新的地址取数据放进pages里面
                    setFromThread("已获取1个页面，正在尝试获取下一页", 2);
                    while (mcNextUrl.Success)
                    {
                        newNextUrl = "http://www.baidu.com" + mcNextUrl.Value;
                        if (oldNextUrl.Equals(newNextUrl)) break;
                        oldNextUrl = newNextUrl;
                        request = (HttpWebRequest)WebRequest.Create("http://www.baidu.com" + mcNextUrl.Value);
                        request.Timeout = 3000;
                        request.Headers.Set("Pragma", "no-cache");
                        response = (HttpWebResponse)request.GetResponse();
                        sm = response.GetResponseStream();
                        ecode = Encoding.GetEncoding("utf-8");
                        sr = new StreamReader(sm, ecode);
                        pages = sr.ReadToEnd();
                        rxNextUrl = new Regex(baiduNextPageRx);
                        mcNextUrl = rxNextUrl.Match(pages);
                        sbPageString.Append(pages.Replace("<em>", "").Replace("</em>", ""));
                        setFromThread(String.Format("已获取{0}个页面，正在尝试获取下一个页面", (++pagenum).ToString()), 2);
                    }
                }

                setFromThread(String.Format("共获取{0}个页面的数据，正在对数据进行处理",pagenum.ToString()), 2);
                string strPage = sbPageString.ToString().ToLower(); MatchCollection mc = rx.Matches(strPage);
                string str="";
                foreach (Match tmc in mc)
                {
                    str=tmc.Value.Trim();
                    if(!lstFackName.Contains<String>(str))
                    lstCom.Add(str);
                }
                setFromThread("", 4);
            }catch (Exception ex)
            {
                setFromThread(ex.Message.ToString(), 5);
            }
        }

        private void AddCompany_Click(object sender, EventArgs e)
        {
            String strURL=newURL.Text.Trim();
            if (strURL != String.Empty)
            {
                lstSite.Items.Add(strURL);
                newURL.Text = "";
                AddCompany.Enabled = false;
            }
        }

        private void newURL_TextChanged(object sender, EventArgs e)
        {
            if (newURL.Text.Trim() == String.Empty)
            {
                AddCompany.Enabled = false;
            }
            else
            {
                AddCompany.Enabled = true;
            }
        }

        private void button1_Click(object sender, EventArgs e)
        {
            if (lstSite.SelectedItems.Count > 0)
            {
                for (int i = 0; i < lstSite.SelectedItems.Count; i++)
                {
                    lstSite.Items.Remove(lstSite.SelectedItems[i]);
                }
            }
        }

        private void button2_Click(object sender, EventArgs e)
        {
            if (saveFileDialog1.ShowDialog() == DialogResult.OK)
            {
                try
                {
                    System.IO.FileStream fs = (System.IO.FileStream)saveFileDialog1.OpenFile();
                    StreamWriter sw = new StreamWriter(fs);
                    for (int i = 0; i < lstCompany.Items.Count; i++)
                    {
                        sw.WriteLine(lstCompany.Items[i].ToString());
                    }
                    sw.Flush();
                    sw.Close();
                    fs.Close();
                    MessageBox.Show("文件保存成功");
                }
                catch (Exception ex)
                {
                    MessageBox.Show("异常：
{0}", ex.Message.ToString());
                }
            }
        }

        private void lstCompany_DoubleClick(object sender, EventArgs e)
        {
            Clipboard.SetText(lstCompany.SelectedItems[0].ToString());
            lblCopy.Text = "复制成功...";
            timer1.Tick += lblCopyClear;
            timer1.Interval = 3000;
            timer1.Start();
        }
        public void lblCopyClear(object sender,EventArgs e)
        {
            lblCopy.Text = "";
            timer1.Tick -= lblCopyClear;
            timer1.ToString();
        }

    }
}