汽车之家店铺商品详情数据抓取 DotnetSpider实战[二]

一、迟到的下期预告

自从上一篇文章发布到现在，大约差不多有3个月的样子，其实一直想把这个实战入门系列的教程写完，一个是为了支持DotnetSpider，二个是为了.Net 社区发展献出一份绵薄之力，这个开源项目作者一直都在更新，相对来说还是很不错的，上次教程的版本还是2.4.4，今天浏览了一下这个项目，最近一次更新是在3天前，已经更新到了2.5.0，而且项目star也已经超过1000了，还是挺受大家所喜爱的，也在这感谢作者们不断的努力。

之所以中间这么长一段时间没有好好写文章，是因为笔者为参加3月份PMP考试备考了，然后考完差不多就到4月份，到了4月份，项目催的急，所以一直拖到了现在才有一点空余时间，希望我的文章完成之后，会对大家有一定的帮助。

二、更新DotnetSpider库

 刚刚提到DotnetSpider升级到了2.5.0，所以我们更新一下库，使用最新的版本，技术要与时俱进嘛，将下图中两个类库添加进去就行了。

三、分析汽车之家商品详情页面

3.1分析商品详情页数据

 ①上次我们发现，当点击参数配置的时候，页面会发送两个ajax请求，分别去获取车型的基本参数，和配置参数，返回的数据是JSON格式。

 ②通过Chrome的Network抓包可以发现，这两个请求有一个共同点，提交的参数都有data[specid]:28762，我猜测这应该是skuid，大家可以试着在浏览器直接打开这两个地址，直接就可以返回出车型的相关信息，所以问题的关键就是要解决如何获取skuid的问题，获取到了这些车型的数据那不就是手到擒来了。

3.2如何获取商品的sku

其实这个确实是让我很苦恼的一个问题，因为我们打开页面的时候页面的链接中并未包含skuid，[https://mall.autohome.com.cn/detail/284641-0-0.html]，所以从URL中获取是不太现实的了，所以我用Element去页面中搜索这个skuid的值，结果发现两个地方有这个值，一个存在于HTML元素中，一个是存在js全局变量中，相比较而言，我认为HTML元素中的相对来说会比较好处理一点，直接获取元素的属性就行了。

四、开发

4.1准备Processor

这次为什么要单独的写一段准备Processor呢，因为此次准备了三个Processor，分别用来处理3个数据，第一个用于获取skuid，第二个用于获取车型基本参数，第三个用于获取车型配置,细心的小伙伴们肯定会发现，这次我们每个Processor都使用了构造函数，里面可以清晰的看到有我们熟悉的正则表达式(PS正则表达式写的很烂，自己有更好的正则写法可以回复在评论里面，让我膜拜一下，嘻嘻)，肯定会有人问为什么要这么写呢？

相比上次的教程，这次的抓取流程更为的复杂了，上次我们只是抓了一个列表页，一个接口完全可以搞定，此次我们的流程变成了，第一步，我们需要获取车型详情页的页面，从页面中找到skuid，第二部，将获取的skuid拼接好request放入爬虫的请求集合中，通过新构造的请求去获取数据，那么我们怎么知道哪个请求用哪个Processor进行处理呢，DotnetSpider提供了对url进行校验的进行判断，使用哪个Processor对数据进行处理。 

        private class GetSkuProcessor : BasePageProcessor //获取skuid
        {
            public GetSkuProcessor()
            {
                TargetUrlsExtractor = new RegionAndPatternTargetUrlsExtractor(".", @"^https://mall.autohome.com.cn/detail/*[0-9]+-[0-9]+-[0-9]+.html$");
            }
            protected override void Handle(Page page)
            {
                string skuid = string.Empty;
                skuid = page.Selectable.XPath(".//a[@class='carbox-compare_detail']/@link").GetValue();
                page.AddResultItem("skuid", skuid);
                page.AddTargetRequest(@"https://mall.autohome.com.cn/http/data.html?data[_host]=//car.api.autohome.com.cn/v1/carprice/spec_paramsinglebyspecid.ashx&data[_appid]=mall&data[specid]=" + skuid);
                page.AddTargetRequest(@"https://mall.autohome.com.cn/http/data.html?data[_host]=//car.api.autohome.com.cn/v2/carprice/Config_GetListBySpecId.ashx&data[_appid]=mall&data[specid]=" + skuid);
            }

        }
        private class GetBasicInfoProcessor : BasePageProcessor //获取车型基本参数
        {
            public GetBasicInfoProcessor()
            {
                TargetUrlsExtractor = new RegionAndPatternTargetUrlsExtractor(".", @"^https://mall.autohome.com.cn/http/data.html?data[_host]=//car.api.autohome.com.cn/v1/carprice/spec_paramsinglebyspecid.ashx*");
            }
            protected override void Handle(Page page)
            {
                page.AddResultItem("BaseInfo", page.Content);
            }
        }

        private class GetExtInfoProcessor : BasePageProcessor //获取车型配置
        {
            public GetExtInfoProcessor()
            {
                TargetUrlsExtractor = new RegionAndPatternTargetUrlsExtractor(".", @"^https://mall.autohome.com.cn/http/data.html?data[_host]=//car.api.autohome.com.cn/v2/carprice/Config_GetListBySpecId.ashx*");
            }
            protected override void Handle(Page page)
            {
                page.AddResultItem("ExtInfo", page.Content);
            }
        }

4.2、创建Pipeline

 Pipeline基本上变化不大，稍微改造了一下，so easy。

        private class PrintSkuPipe : BasePipeline
        {

            public override void Process(IEnumerable<ResultItems> resultItems, ISpider spider)
            {
                foreach (var resultItem in resultItems)
                {
                    if (resultItem.GetResultItem("skuid") != null)
                    {
                        Console.WriteLine(resultItem.Results["skuid"] as string);
                    }
                    if (resultItem.GetResultItem("BaseInfo") != null)
                    {
                        var t = JsonConvert.DeserializeObject<AutoCarParam>(resultItem.Results["BaseInfo"]);
                        //Console.WriteLine(resultItem.Results["BaseInfo"]);
                    }
                    if (resultItem.GetResultItem("ExtInfo") != null)
                    {
                        var t = JsonConvert.DeserializeObject<AutoCarConfig>(resultItem.Results["ExtInfo"]);
                        //Console.WriteLine(resultItem.Results["ExtInfo"]);
                    }

                }
                
            }
        }

新增两个实体类AutoCarParam,AutoCarConfig,其实有重复的，子项可以再进行抽象一下，代码可以减少，还可以节省一点硬盘空间

    public class AutoCarConfig
    {
        public string message { get; set; }
        public ConfigResult result { get; set; }
        public string returncode { get; set; }
    }
    public class ConfigResult
    {
        public string specid { get; set; }

        public List<configtypeitem> configtypeitems { get; set; }
    }

    public class configtypeitem
    {
        public string name { get; set; }
        public List<configitem> configitems { get; set; }
    }
    public class configitem
    {
        public string name { get; set; }
        public string value { get; set; }
    }

    public class AutoCarParam
    {
        public string message { get; set; }
        public ParamResult result { get; set; }
        public string returncode { get; set; }
    }

    public class ParamResult
    {
        public string specid { get; set; }

        public List<paramtypeitem> paramtypeitems { get; set; }
    }

    public class paramtypeitem
    {
        public string name { get; set; }
        public List<paramitem> paramitems { get;set;}
    }
    public class paramitem
    {
        public string name { get; set; }
        public string value { get; set; }
    }

 4.3、构造爬虫

这一块变化也不是很大，变化的的地方看我的注释，因为我们需要有多个Processor，把这几个都添加进去就行。

            var site = new Site
            {
                CycleRetryTimes = 1,
                SleepTime = 200,
                Headers = new Dictionary<string, string>()
                {
                    { "Accept","text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8" },
                    { "Cache-Control","no-cache" },
                    { "Connection","keep-alive" },
                    { "Content-Type","application/x-www-form-urlencoded; charset=UTF-8" },
                    { "User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36"}
                }

            };
            List<Request> resList = new List<Request>();
            Request res = new Request();
            res.Url = "https://mall.autohome.com.cn/detail/284641-0-0.html";
            res.Method = System.Net.Http.HttpMethod.Get;
            resList.Add(res);
            var spider = Spider.Create(site, new QueueDuplicateRemovedScheduler(), new GetSkuProcessor(),new GetBasicInfoProcessor(),new GetExtInfoProcessor()) //因为我们有多个Processor，所以都要添加进来
                .AddStartRequests(resList.ToArray())
                .AddPipeline(new PrintSkuPipe());
            spider.ThreadNum = 1;
            spider.Run();
            Console.Read();

五、执行结果

六、总结

这次憋了那么久才写第二篇文章的，实属惭愧，本来2月底这篇文章就要出来的，一直拖到现在，上一篇文章的阅读量整体来说还是不错的超出了我的预期，下面评论也有小伙伴希望我快点出这篇文章，整体来说还是不错的。这次的文章我希望就是说不仅仅是大家学会了如何去使用DotnetSpider，并且能够让大家了解一下如何爬数据，给大家提供一点点思路，所以我会结合实际场景来写这篇文章，不然的话，感觉会太过于枯燥了。

希望大家多多拍砖

七、下期预告

下次文章会涉及文件抓取

顺便说一句，有需要参加PMP或者高项考试的可以联系我，我有一些资料可以提供

2018年5月13日