[初探爬虫框架: DotnetSpider] 一 采集博客园

今天ModestMT.Zou发布了DotnetSpider爬虫第二章节，内容简单明了，基本看懂了，于是想自己试试看，直接就拿博客园开刀了。

这里有最基本的使用方式，本文章不介绍

[开源 .NET 跨平台 数据采集 爬虫框架: DotnetSpider] [二] 最基本，最自由的使用方式

这里我已经从https://github.com/zlzforever/DotnetSpider上下载代码并编译通过

这里用的是VS2015，因为此项目有些C#6.0语法糖

首先，用VS2015新建一个控件台程序，命名为DotnetSpiderDemo

新建一个数据对象

public class Cnblog
    {
        public string Title { get; set; }

        public string Url { get; set; }

        public string Author { get; set; }

        public string Conter { get; set; }
    }

　　

 先引用两个Dll类库

Java2Dotnet.Spider.Core.dll

Newtonsoft.Json.dll

如果你编译DotnetSpider成功的话，可以在output目录中找到

现在来写数据处理器，实现 IPageProcessor 这个接口

/// <summary>
    /// 页面列表处理器
    /// </summary>
    public class PageListProcessor : IPageProcessor
    {
        public Site Site{get; set; }

        public void Process(Page page)
        {
            var totalCnblogElements = page.Selectable.SelectList(Selectors.XPath("//div[@class='post_item']")).Nodes();
            List<Cnblog> results = new List<Cnblog>();
            foreach (var cnblogElement in totalCnblogElements)
            {
                var cnblog = new Cnblog();
                cnblog.Title = cnblogElement.Select(Selectors.XPath(".//div[@class='post_item_body']/h3/a")).GetValue();
                cnblog.Url = cnblogElement.Select(Selectors.XPath(".//div[@class='post_item_body']/h3")).Links().GetValue();
                cnblog.Author = cnblogElement.Select(Selectors.XPath(".//div[@class='post_item_foot']/a[1]")).GetValue();
                results.Add(cnblog);
            }
            page.AddResultItem("Result", results);
        }
    }

　　

关于XPath,可以到这里学习http://www.w3school.com.cn/xpath/，我也是下午刚看了一遍，因为有XML/HTML基础，基本没压力

关于XPath表达式如何写，我觉得用谷歌审核元素就足够了，可以复制XPath。也有一款谷歌XPath插件，因我翻不了墙，就没安装。

如下图：//*[@id="post_list"]/div[20]/div[2]/h3/a，然后再按需改改

数据存取

需要实现 IPipeline这个接口，然后你想保存到文件或数据库就自己选择

public class ListPipeline : IPipeline
    {
        private string _path;

        public ListPipeline(string path)
        {
            if (string.IsNullOrEmpty(path))
            {
                throw new Exception("文件名不能为空！");
            }

            _path = path;

            if (!File.Exists(_path))
            {
                File.Create(_path);
            }
        }
        public void Dispose()
        {
        }

        public void Process(ResultItems resultItems, ISpider spider)
        {
            lock (this)
            {
                foreach (Cnblog entry in resultItems.Results["Result"])
                {
                    File.AppendAllText(_path, JsonConvert.SerializeObject(entry));
                }
            }
        }

　　

接下来在Program的Main方法中写运行代码

class Program
    {
        static void Main(string[] args)
        {
            var site = new Site() { EncodingName = "UTF-8" };
            for (int i = 1; i <= 30; i++)//30页
            {
                site.AddStartUrl(
                    $"http://www.cnblogs.com/p{i}");//已更正去掉#号，本来是"http://www.cnblogs.com/#p{i}",这样发现请求的是http://www.cnblogs.com
            }
            
            Spider spider = Spider.Create(site, new PageListProcessor(), new QueueDuplicateRemovedScheduler()).AddPipeline(new ListPipeline("test.json")).SetThreadNum(2);//两个线程
            spider.Run();
            Console.Read();
        }
    }

　　

这样每一页信息就被保存起来了，但到这里还没完，一般情况不仅仅是采集列表页，也会采集详细页，于是我又添加了两个类，暂时我是这样实现的，但感觉有点慢

添加页面详细数据处理器

/// <summary>
    /// 页面详细处理器
    /// </summary>
    public class PageDetailProcessor : IPageProcessor
    {
        private Cnblog cnblog;
        public PageDetailProcessor(Cnblog _cnblog)
        {
            cnblog = _cnblog;
        }
        public Site Site { get; set; }

        public void Process(Page page)
        {
            cnblog.Conter=page.Selectable.Select(Selectors.XPath("//*[@id='cnblogs_post_body']")).GetValue();
            page.AddResultItem("detail",cnblog);
        }
    }

　　

再添加页面详细数据保存

public class DetailPipeline : IPipeline
    {
        private string path;
        public DetailPipeline(string _path)
        {
            
            if (string.IsNullOrEmpty(_path))
            {
                throw new Exception("路径不能为空！");
            }
            path = _path;
            if (!Directory.Exists(_path))
            {
                Directory.CreateDirectory(_path);
            }
        }
        public void Dispose()
        {
            
        }

        public void Process(ResultItems resultItems, ISpider spider)
        {
            Cnblog cnblog=resultItems.Results["detail"];
            FileStream fs=File.Create(path + "\" + cnblog.Title + ".txt");
            byte[] bytes=UTF8Encoding.UTF8.GetBytes("Url:"+cnblog.Url+Environment.NewLine+cnblog.Conter);
            fs.Write(bytes,0,bytes.Length);
            fs.Flush();
            fs.Close();
        }
    }

　　

修改ListPipeline这个类RequestDetail方法，我的想法是列表数据保存一次就请求一次详细页，然后再保存详细页

所有详细页都保存在details这个目录下

public class ListPipeline : IPipeline
    {
        private string _path;

        public ListPipeline(string path)
        {
            if (string.IsNullOrEmpty(path))
            {
                throw new Exception("文件名不能为空！");
            }

            _path = path;

            if (!File.Exists(_path))
            {
                File.Create(_path);
            }
        }
        public void Dispose()
        {
        }

        public void Process(ResultItems resultItems, ISpider spider)
        {
            lock (this)
            {
                foreach (Cnblog entry in resultItems.Results["Result"])
                {
                    File.AppendAllText(_path, JsonConvert.SerializeObject(entry));
                    RequestDetail(entry);
                }
            }
        }

        /// <summary>
        /// 请求详细页
        /// </summary>
        /// <param name="entry"></param>
        private static void RequestDetail(Cnblog entry)
        {
            ISpider spider;
            var site = new Site() {EncodingName = "UTF-8"};
            site.AddStartUrl(entry.Url);
            spider =
                Spider.Create(site, new PageDetailProcessor(entry), new QueueDuplicateRemovedScheduler())
                    .AddPipeline(new DetailPipeline("details"))
                    .SetThreadNum(1);
            spider.Run();
        }
    }

　　

其它代码保持不变，运行程序，现在已经能保存详细页内容了

最后，程序运行下来没什么大问题，但就是在采集详细页时比较慢，我的想法是把所有详细页一起加到调度中心，然后开多个线程去运行，这个有待学习。 

今天把上面的问题解决了，修改ListPipeline类，这样就可一次把所有详细页都加到调度中心，然后开多个线程去请求。

public void Process(ResultItems resultItems, ISpider spider)
        {
            lock (this)
            {
                var site = new Site() { EncodingName = "UTF-8" };
                foreach (Cnblog entry in resultItems.Results["Result"])
                {
                    File.AppendAllText(_path, JsonConvert.SerializeObject(entry));
                    site.AddStartUrl(entry.Url);
                }
                RequestDetail(site);
            }
        }

        /// <summary>
        /// 请求详细页
        /// </summary>
        /// <param name="site"></param>
        private static void RequestDetail(Site site)
        {
            ISpider spider =
                Spider.Create(site, new PageDetailProcessor(), new QueueDuplicateRemovedScheduler())
                    .AddPipeline(new DetailPipeline("details"))
                    .SetThreadNum(3);
            spider.Run();
        }

　　

 PageDetailProcessor类也更改了，加入标题、url获取

public void Process(Page page)
        {
            Cnblog cnblog=new Cnblog();
            cnblog.Title = page.Selectable.Select(Selectors.XPath("//a[@id='cb_post_title_url']")).GetValue();
            cnblog.Conter=page.Selectable.Select(Selectors.XPath("//*[@id='cnblogs_post_body']")).GetValue();
            cnblog.Url = page.Url;
            page.AddResultItem("detail",cnblog);
        }

　　

Demo下载