赶集去了，你准备好了么？谈谈正则表达式的内容采集

不知阁下是否都听说过赶集网，我想对大多数人来说，应该不会太陌生，有时无聊之时，还是可以去逛逛，了解社会百态，熟悉人间风情，品味生活精彩，呵呵。

赶集网基本是按照全国城市分类的，每一个城市是相同界面，不同内容。你可以在不同城市中切换，以便关注该城市的各种信息。

 
对应每个城市，赶集网又有不同的分类，基本上涵盖了生活的方方面面。

 

 
进入一个特定的分类，你可以看到相关的用户文章，有些事经纪人发的，有些是普通老百姓发的，各取所需，各观所好。

 

好了，说到这里，请不要以为我是给赶集网做广告，呵呵，肯定不是。

我是先解剖赶集网的内容结构，为做内容采集做准备，下面先Show一下我做的赶集网采集程序先，先有一个感性的认识，也为下面的代码找一个实在的宿主，而并非纯理论的研究，哈哈。

 

 下面分析赶集网的内容获取及程序的工作方式：

首先第一步，我们要拿到全国省市的的划分名称，这部可以去国家统计局那里找找，哈哈，我是说真的哦。

赶集网每个城市，对应一个编号，如北京对应bj,广州对应gz, 你从上面的城市划分的源码中可以找到：<dd><a href="http://bj.ganji.com/" class="redLink">北京</a></dd>，这里面的内容就包含了bj的内容，后面加上ganji.com就是北京赶集网的链接地址了，花点功夫把它找出来吧。

第二个是网站内容的分类，我查过不同城市的分类好像是一样的，因此只需要获取一个城市的分类就可以了，其他的就一样。

把分类的内容保存成html，然后放到VS格式化一通，得到了内容如下所示：

 

下面你根据内容，编写一个正则表达式来把分类提取出来，就可以了。献上拙例，供参考。

首先我们把分类分级，一级分类是房产、二手物品、招聘等大类，二级分类表示大分类（如房产）下面的小分类，如出租房、二手房等内容类别。

下面代码是大类的获取： 

 

        private void GetCatetory(object obj)
        {
            string mainUrl = "http://gz.ganji.com";
            string DataRegex = "<dt><a\\s*?href=\"(?<value>.*?)\"\\s*?target=\"_blank\">(?<key>.*?)&raquo;</a></dt>";
            string itemString = "";
            itemString = CSocket.GetHtmlByUrl(mainUrl);

            Database db = DatabaseFactory.CreateDatabase();
            DbCommand command = null;
            if (!string.IsNullOrEmpty(itemString))
            {
                Regex re = new Regex(DataRegex, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.IgnorePatternWhitespace);
                Match mc = re.Match(itemString);
                if (mc.Success)
                {
                    MatchCollection mcs = re.Matches(itemString);
                    foreach (Match me in mcs)
                    {
                        string strKey = me.Groups["key"].Value;
                        string strValue = me.Groups["value"].Value;
                        try
                        {
                            string sql = string.Format("insert into GanjiCategory(CategoryName,CategoryUrl) values('{0}','{1}{2}') ",
                                strKey, mainUrl, strValue);
                            command = db.GetSqlStringCommand(sql);
                            db.ExecuteNonQuery(command);

                            string tips = string.Format("正在处理 {0} ", strKey);
                            CallCtrlWithThreadSafety.SetText<Label>(this.lblSchoolTips, tips, this);
                        }
                        catch (Exception ex)
                        {
                            LogHelper.Error(ex);
                        }
                    }
                }
            }
        }

下面代码是小分类的获取：

        private void GetItemName(object obj)
        {
            string mainUrl = "http://gz.ganji.com";
            Database db = DatabaseFactory.CreateDatabase();
            DbCommand command = null;

            string content = CSocket.GetHtmlByUrl(mainUrl);
            try
            {
                #region 获得各项列表字符串
                List<string> itemHtmlList = new List<string>();
                string itemRegex = "<dl\\s*?class=\"list_.*?\">\\s*(.*?)\\s*</dl>";
                Regex re = new Regex(itemRegex, RegexOptions.IgnoreCase | RegexOptions.Singleline | RegexOptions.IgnorePatternWhitespace);
                Match mc = re.Match(content);
                if (mc.Success)
                {
                    MatchCollection mcs = re.Matches(content);
                    foreach (Match me in mcs)
                    {
                        string strValue = me.Groups[1].Value;
                        itemHtmlList.Add(strValue);
                    }
                }
                #endregion

                #region 对每项内容进行解析
                foreach (string itemString in itemHtmlList)
                {
                    string cateDataRegex = "<dt><a\\s*?href=\"(?<value>.*?)\"\\s*?target=\"_blank\">(?<key>.*?)&raquo;</a></dt>";
                    string itemNameRegex = "<dd>\\s*<a\\s*href=\"(?<value>.*?)\"\\s*target=\"_blank\">(?<key>.*?)</a>\\((?<id>.*?)\\)</dd>";

                    re = new Regex(cateDataRegex, RegexOptions.IgnoreCase | RegexOptions.Singleline | RegexOptions.IgnorePatternWhitespace);
                    mc = re.Match(itemString);

                    string categoryName = "";
                    if (mc.Success)
                    {
                        Match me = re.Matches(itemString)[0];
                        categoryName = me.Groups["key"].Value;
                    }

                    re = new Regex(itemNameRegex, RegexOptions.IgnoreCase | RegexOptions.Multiline | RegexOptions.IgnorePatternWhitespace);
                    mc = re.Match(itemString);
                    if (mc.Success)
                    {
                        MatchCollection mcs = re.Matches(itemString);
                        foreach (Match me in mcs)
                        {
                            string strKey = CText.GetTxtFromHtml(me.Groups["key"].Value);
                            string strValue = me.Groups["value"].Value;

                            try
                            {
                                //保存内容代码

                                string tips = string.Format("正在处理 {0} ", strKey);
                                CallCtrlWithThreadSafety.SetText<Label>(this.lblSchoolTips, tips, this);
                            }
                            catch (Exception ex)
                            {
                                LogHelper.Error(ex);
                            }
                        }
                    }
                }
                #endregion
            }
            catch (Exception ex)
            {
                LogHelper.Error(ex);
            }
        }

完成上面两步后，我们就可以继续第三部，采集赶集网的内容等信息了。