zoukankan      html  css  js  c++  java
  • 利用HtmlAgilityPack抓取园子里面的数据

       public void GetStr()
            {
                string url = "http://kb.cnblogs.com/list/1001/";
                HtmlWeb web = new HtmlWeb();
                //htmlWeb.DefaultEncoding = System.Text.Encoding.GetEncoding("");

                HtmlAgilityPack.HtmlDocument doc = web.Load(url);
                HtmlNode rootnode = doc.DocumentNode;
                string xpathstring = "//div[@class='list_title']";
                string newpath = "//div[@class='list_title']/a";
                HtmlNodeCollection aa = rootnode.SelectNodes(xpathstring);    //所有找到的节点都是一个集合
                HtmlNodeCollection tt = rootnode.SelectNodes(newpath);
                foreach(HtmlNode ht in tt)
                {
                     string innertext = ht.InnerText;
                    string page = ht.GetAttributeValue("href", "");

                    string newurl = "http://kb.cnblogs.com"+page;
                    string content = GetContent(newurl);
                }
           
            }
            public string GetContent(string url)
            {
                  HtmlWeb web = new HtmlWeb();
                //htmlWeb.DefaultEncoding = System.Text.Encoding.GetEncoding("");
                HtmlAgilityPack.HtmlDocument doc = web.Load(url);
                HtmlNode rootnode = doc.DocumentNode;
                string newpath = "//div[@class='contents_main']";
                HtmlNodeCollection tt = rootnode.SelectNodes(newpath);
                return tt[0].InnerText;
            }

  • 相关阅读:
    Python 2 中的编码
    奇异值分解及其应用
    c#基础系列3---深入理解ref 和out
    c#基础系列2---深入理解 String
    c#基础系列1---深入理解值类型和引用类型
    广州.NET微软技术俱乐部微信群有用信息集锦(10)
    程序员英语二三事(3)
    BDD实战篇
    BDD实战篇
    广州.NET微软技术俱乐部
  • 原文地址:https://www.cnblogs.com/cxlings/p/3110858.html
Copyright © 2011-2022 走看看