多线程，抓取页面

这几天在进行网站的扫黄工作，对网站，域名进行一个个的排查。当然如果真的一个个去打开看
一下，真的是会搞死人的。有几十万的网站要去排查，那天我们几十个人搞到通宵也没搞好。不过
通过一天的劳累，也总结了不少方法。
首先是梁Boss的批处理文件，it is a real good  idea to open a batch web pages.如果单一的
去打开一个个的网页，肯定是吃不消地。只需要稍稍应用下批处理文件就可以一下打开好几十个网页
。具体操作如下：1.新建txt文件，输入内容如下
start http://www.baidu.cn
start http://www.baidu2.cn
start http://www.baidu3.cn
start http://www.baidu4.cn
....
但是 如果打开过多浏览器就会崩溃，这时就需要增加 一个
pause ,每打开多少就暂停一下。
当然这样子操作 还是要我们去肉眼判断。能不能将工作再简化一下呢，毕竟是几十万的数据啊。
我的选择是抓取网页内容，先过滤一遍关键字，因为通过网页内容文字与关键字的匹配，不能说
百分百的正确，也能达到百分七八十的正确率，再对过滤出来的网页进行人工审核，工作量减轻一
大半。
所以，就有了以下这个程序“多线程-狂抓页面”。为什么选择多线程 而不是线程池？因为多线程
我可以将线程数组设到100或1000，线程池的容量有限，还有就是我也不知道如何将线程池开到成百
上千个线程去执行，而又不冲突，主要还是对线程池不是很掌握。话不多说，贴上代码，代码是在
小谢的代码基础上的改进，在此表示感谢。
程序效果图如下：

下面进行一步步分析，如何用 多线程-狂抓页面

声明一个域名队列，

 1 Queue<string> domainqueue = new Queue<string>();
 2 所有要查域名都放在队列里
 3 foreach (string domain in domains)
 4 {
 5       //所有域名进队列
 6       domainqueue.Enqueue(domain);
 7 }
 8 
 9 声明一个线程数组：并启动
10      threads = new Thread[threadNum];
11     for (int i = 0; i < threadNum; i++)
12     {
13                 threads[i] = new Thread(new ThreadStart(RunThread));
14                 threads[i].Name = "checkDomain"+i;
15                 threads[i].IsBackground = true;
16                 //启动
17                threads[i].Start();
18     }
19 
20 线程执行代理函数 (RunThread)
21   //执行线程
22    public void RunThread()
23         {
24             Thread current_thread = Thread.CurrentThread;//当前线程
25             MyInvoke mi = new MyInvoke(rtb_result.AppendText); //代理，显示线程结果
26             MyInvoke mi2 = new MyInvoke(rtb_illegal.AppendText);//代理，显示过滤结果
27        //当队列存在
28             while (domainqueue.Count > 0)
29             {
30         //出队列
31                 string domain = domainqueue.Dequeue();
32                 try
33                 {
34            //同步显示
35                     rtb_result.Invoke(mi,"域名:["+domain+"]   当前线程:["+current_thread.Name+"]" + "\r\n");
36                     string keyword="";
37                     //若扫描到，过滤结果
38                     if (ScanDomain(domain, out keyword)) //扫描函数
39                     {
40                         rtb_illegal.Invoke(mi2, domain + ":" + keyword + "\r\n");
41                     }
42                     //带www主机头的扫描
43                     string host = "www.";
44                     if (cbx_www.Checked)
45                     {
46                         if (ScanDomain(host + domain, out keyword))
47                         {
48                             rtb_illegal.Invoke(mi2,host+ domain + ":" + keyword + "\r\n");
49                         }
50                     }
51                 }
52                 catch (Exception ex)
53                 {
54                     rtb_result.Invoke(mi,ex.ToString()+"\r\n");
55                 }
56             }
57 
58         }
59 
60 //扫描函数
61    //扫描域名是否含非法信息
62         private bool ScanDomain(string domain,out string keyword)
63         {
64             keyword = null;
65         //抓取页面内容并过滤 html标记
66             string pageContent = PageOp.NoHTML(PageOp.GetPageContent(domain));
67         //抓取页面的内容，进行非法关键字匹配
68             return PageOp.IsIllegal(pageContent,out keyword);
69         }

其中抓取页面我用的webrequest对象，但是webrequest对有些网页的抓取是抓不到的，但他又比xmlhttp抓取要快，
所以我说先用webrequest 抓取，抓不到的再用xmlhttp  去抓取。
测试的效果还不错，如果网站是有网页并且可访问，1000个开100个线程也就1分钟样子就搞定，难的是有些域名是
没有解析的抓不到。也会造成网络堵塞，qq都掉了2次，抓太多也不好的啊。呵呵
程序有待改进，还请朋友们给我指点：
源码下载 http://kobewang.cn/article/WinForm/34.html