使用HtmlAgilityPack实现对网页内容的抓取

首先下载HtmlAgilityPack 官网：http://htmlagilitypack.codeplex.com/

根据自己.net的版本引入dll

实现抓取博客园首页文章列表中的标题和地址，代码如下：

            WebClient wc = new WebClient();
            wc.Encoding = System.Text.Encoding.UTF8;
            string mainData = wc.DownloadString("http://www.cnblogs.com/");
            HtmlDocument htmlDoc = new HtmlDocument();
            htmlDoc.LoadHtml(mainData);

            //根据HTML节点NODE的ID获取节点
            HtmlNode itemList = htmlDoc.GetElementbyId("post_list");

            //根据XPATH来索引节点
            //div[2]表示文章链接a位于post_list里面第3个div节点中,获取所有符合该XPATH规则的HtmlNode
            HtmlNodeCollection navNodeCollection = itemList.SelectNodes("//div[2]/h3/a");

            for (int i = 0; i < navNodeCollection.Count; i++)
            {
                //获取文章链接地址
                string articleUrl = navNodeCollection[i].Attributes["href"].Value.ToString();
                //获取文章标题
                string articleTitle = navNodeCollection[i].InnerText;
            }