利用webmagic获取天猫评论

• 引言
• 爬取商品信息
• 爬取商品评论
• 数据清洗

1. 引言

现代网页往往其HTML只有基本结构，而数据是通过AJAX或其他方法获取后填充，这样的模式对爬虫有一定阻碍，但是熟练以后获取并不困难，本文以爬取天猫评论为例简单讲讲动态获取以及自定义Pipeline进行数据清洗的过程。

2. 爬取商品信息

我们访问s.taobao.com/search?q=你搜索的关键字 时可以很容易的获取到搜索结果页面，不难发现淘宝把搜索结果的信息嵌入到了该获取结果的head标签之中，可以很容易的通过xpath将该信息抽取出来并整理成一个Json，你可以发现其中中文部分是由Unicode编码编写的，你可以自己写一个convert函数去解决这个问题。

这里我也提供一个简单的convert函数，可以仅转换文本中的Unicode编码：

public class Unicode2utf8Utils {
    public static String convert(String unicodeString) {
        StringBuilder stringBuilder = new StringBuilder();
        int i = -1;
        int pos = 0;
        while ((i = unicodeString.indexOf("\u", pos)) != -1) {
            stringBuilder.append(unicodeString.substring(pos, i));
            if (i + 5 < unicodeString.length()) {
                pos = i + 6;
                stringBuilder.append((char) Integer.parseInt(unicodeString.substring(i + 2, i + 6), 16));
            }
        }
        return stringBuilder.toString();
    }
}

这里由于淘宝该数据是用Json格式发送的，可以很容易的用JsonPathSelector这个工具去获取想要的字符，当然，使用前需要对数据进行一些清理，让它是一个方便识别的Json文本。（这些清理是根据具体实践中爬到的内容进行分析得到的，你需要自己实践看看需要清除哪些内容。）

 else if (page.getUrl().regex(urlList).match()) {
            //获取页面script并转码为中文
            String origin = Unicode2utf8Utils.convert(page.getHtml().xpath("//head/script[7]").toString());
            //从script中获取json
            Matcher jsonMatcher = Pattern.compile("\{.*\}").matcher(origin);
            //如果成功获取json数据
            if (jsonMatcher.find()) {
                //清理乱码
                String jsonString = jsonMatcher.group().replaceAll(""navEntries".*?,", "")
                        .replaceAll(","p4pdata".*?\"\}"", "").replaceAll(""spuList".*?,", "");
                //选择auctions列表
                List<String> auctions = new JsonPathSelector("mods.itemlist.data.auctions[*]").selectList(jsonString);

有关于JsonPathSelector的语法（JsonPath），可以参考这里JSONPath - XPath for JSON

使用方法即是新建一个JsonPathSelector并使用其select或selectList方法获取所求元素。

对于每条元素的处理，这里建议用阿里巴巴提供的fastjackson库去操作。

  //对于每一项商品
                for (String auction : auctions) {
                    Map map = JSON.parseObject(auction);
                    //获取评论url
                    String commentUrl = (String) map.get("comment_url");
                    if (commentUrl == null) continue;
                    //获取商品id
                    Matcher itemIdMatcher = Pattern.compile("id=\d+").matcher(commentUrl);
                    String itemIdString = null;
                    if (itemIdMatcher.find()) itemIdString = itemIdMatcher.group().replace("id=", "");
                    else continue;
                    //获取商店ip
                    String shopLink = new JsonPathSelector("shopLink").select(auction);
                    Matcher shopIdMatcher = Pattern.compile("user_number_id=\d+").matcher(shopLink);
                    String shopIdString = null;
                    if (shopIdMatcher.find()) shopIdString = shopIdMatcher.group().replace("user_number_id=", "");
                    else continue;
                    //记录信息
                    map.put("itemId", itemIdString);
                    map.put("sellerId", shopIdString);
                    page.putField(itemIdString, map);

3. 爬取商品评论

至此我们的爬虫已经可以获取每个关键词的第一页商品信息，那么，如何获取其评论呢？注意到我在上段代码中获取了itemId和sellerId，利用这两个信息，我们可以获取评论。

打开一个评论页面，用浏览器的调试工具进行查看，会发现Network页面中的各种请求，我们可以挨个排查，查到，对于淘宝评论，将会发送如下请求：

https://rate.taobao.com/feedRateList.htm?auctionNumId=551058447857&userNumId=3167078258&currentPageNum=1&pageSize=20&rateType=&orderType=sort_weight&attribute=&sku=&hasSku=false&folded=0&ua=094%23UVQ6qM6U6l36u6ty666666BojjfaWoDLGsIU6Sf5RfSra4LjKWEeohUmxRUbiVNjH6Q6tusO%2Fbxm6M6QjLTM%2BR4t66W6nSkS1aQ6tHI6a486atAt6tlORWGWZHnBps8hHD80ee8tloiOPTTML6QtKBSv%2B6n0%2FxnKTeCbb1gD%2BlJiqwmPHGbgsSPNHG%2Fs%2FzmRR4pkHLd0%2BNJ9fpEJ%2FD76rYHg9yg9INGuG3hVxw01f9A2qP0vzP16Jjblbb%2FxxNnBuAmVHHEes9Jvkohr1G03Sv0yDg%2FAb9bnGzTspoo9%2B2raJp00HTElcncOzLSPIzvjT9n9zyoza5a2V7L%2BHpZYCWLYD7m%2F4est8Rws41d1V2R2D1jxDbS7Cn8Ez7C9w3FR3RoiAo0VcxtIsPgvI7SQVEjh9HS1bepYoRZep8Hws5zeVgc%2BApH6k0jKpgPs%2FzsBLuDczud0%2BNaAagcbpbHNvVTWALd414oEy3hV47Pv%2BU6Aa1ce1PZgkjc62Ty1ex77LRFAwLAk6M64jLTM%2B5PyzTXNAeTI09%2F0PkZvfRCGC15qjLTXi5Pyz9fNAehU09%2F0CRut66lLAeoM%2FDyr6M6ujLTWvMon0CR%3D&_ksTS=1498362441431_2073&callback=jsonp_tbcrate_reviews_list

对于天猫评论，我们可以发现如下请求：

https://rate.tmall.com/list_detail_rate.htm?itemId=549440936281&spuId=846223934&sellerId=1996270577&order=3&currentPage=1&append=0&content=1&tagId=&posi=&picture=&ua=096UW5TcyMNYQwiAiwQRHhBfEF8QXtHcklnMWc%3D%7CUm5Ockt%2FSnRPcEh0T3pCfCo%3D%7CU2xMHDJ7G2AHYg8hAS8XIw0tA18%2BWDRTLVd5L3k%3D%7CVGhXd1llXGhdY1hnX2NYbVVrXGFDf0tyT3FJdEF8RHBNcU1zSnRaDA%3D%3D%7CVWldfS0SMg02Dy8QMB4jHzFnMQ%3D%3D%7CVmhIGCUFOBgkGiIePgc6BzsbJxkiFzcDPwAgHCIZLAw5AzxqPA%3D%3D%7CV2xMHDJXLwEhHSIcPAEhHSMeJHIk%7CWGFBET8RMQo%2BBiYdKBAwCz4GPmg%2B%7CWWBAED4QMAgxCioWKREtDTcPMApcCg%3D%3D%7CWmNDEz0TMwoxCSkVKhQvDzUBNQBWAA%3D%3D%7CW2NDEz0TM2NaZVx8QH9Dfl5gWmBAfkN8XmJWblBsU2tLd0p%2FX2NbDS0QMB4wECUcIRxKHA%3D%3D%7CXGVYZUV4WGdHe0J%2BXmBYYkJ7W2VYeExsWXlDY19nMQ%3D%3D&isg=AoKCefv4bxJaWnPIzoTSiRgq04hIRrnyMb30i8ybA_WoHyOZtOJ-fD4dtS2Y&needFold=0&_ksTS=1498362526461_1756&callback=jsonp1757

分析这两个URL，我们可以发现，对于天猫连接，必要的属性为itemId，sellerId和currentPage，前两个可以从商品信息的comment_url和shopLink两个属性中通过正则匹配获取到，最后一个是页数。淘宝的连接也十分类似，只是属性名称有所变动。因此，我们可以针对这两种连接发送AJAX请求。自己重新用这些属性构造连接后，能够成功获得评论信息。

                    if (!map.get("comment_count").toString().isEmpty()) {
                        if(commentUrl.contains("taobao")){
                            for (int i = 1; i <= 5; ++i) {
                                String taoBaoUrl = "https://rate.taobao.com/feedRateList.htm?auctionNumId=" + itemIdString + "&userNumId=" + shopIdString + "&currentPageNum=" + i;
                                page.addTargetRequest(taoBaoUrl);
                            }
                        }else {
                            for (int i = 1; i <= 5; ++i) {
                                String tmallUrl = "https://rate.tmall.com/list_detail_rate.htm?itemId=" + itemIdString + "&sellerId=" + shopIdString + "&currentPage=" + i;
                                page.addTargetRequest(tmallUrl);
                            }
                        }
                    }

对于评论信息的获取如下：

 if (page.getUrl().regex(tmallComment).match()) {
            String text = page.getRawText().replace(""rateDetail":", "");
            //记录信息
            Map map = JSON.parseObject(text);
            if (map.get("rateList") == null) return;
            Matcher itemIdMatcher = Pattern.compile("itemId=\d+").matcher(page.getRequest().getUrl());
            String itemIdString = null;
            if (itemIdMatcher.find()) itemIdString = itemIdMatcher.group().replace("itemId=", "");
            Matcher shopIdMatcher = Pattern.compile("sellerId=\d+").matcher(page.getRequest().getUrl());
            String shopIdString = null;
            if (shopIdMatcher.find()) shopIdString = shopIdMatcher.group().replace("sellerId=", "");
            Matcher currentPageMatcher = Pattern.compile("currentPage=\d+").matcher(page.getRequest().getUrl());
            String currentPageString = null;
            if (currentPageMatcher.find()) currentPageString = currentPageMatcher.group().replace("currentPage=", "");
            map.put("currentPage",currentPageString);
            map.put("itemId", itemIdString);
            map.put("sellerId", shopIdString);
            map.put("url", page.getRequest().getUrl());
            page.putField(itemIdString, map);
        } else if (page.getUrl().regex(tbComment).match()) {
            Matcher jsonMatcher = Pattern.compile("\{.*\}").matcher(page.getRawText());
            if (jsonMatcher.find()) {
                Map map = JSON.parseObject(jsonMatcher.group());
                //如果触发反爬虫，报错
                if (map.get("url") != null && map.get("url").toString().matches(urlSec)) {
                    System.out.println("Meet the anti-Spider!");
                    return;
                }
                if (map.get("comments") == null) return;
                Matcher itemIdMatcher = Pattern.compile("auctionNumId=\d+").matcher(page.getRequest().getUrl());
                String itemIdString = null;
                if (itemIdMatcher.find()) itemIdString = itemIdMatcher.group().replace("auctionNumId=", "");
                Matcher shopIdMatcher = Pattern.compile("userNumId=\d+").matcher(page.getRequest().getUrl());
                String shopIdString = null;
                if (shopIdMatcher.find()) shopIdString = shopIdMatcher.group().replace("userNumId=", "");
                Matcher currentPageMatcher = Pattern.compile("currentPageNum=\d+").matcher(page.getRequest().getUrl());
                String currentPageString = null;
                if (currentPageMatcher.find()) currentPageString = currentPageMatcher.group().replace("currentPageNum=", "");
                map.put("currentPage",currentPageString);
                map.put("itemId", itemIdString);
                map.put("sellerId", shopIdString);
                map.put("url", page.getRequest().getUrl());
                page.putField(itemIdString, map);
            }
        }

这里可以看到，处理淘宝评论和天猫评论的过程是十分相似的，但是天猫评论没有反爬，而淘宝评论会有反爬手段，目前我的一些简单的规避反爬虫的方法都不奏效，也未能推测出反爬的方法，因此这个爬虫几乎只能获取一条商品一页的淘宝评论。想获取更多，还要想出躲避反爬的方法。因此我标题里仅说天猫评论。

4. 数据清洗

webmagic的Pipeline是可以自定义的，因而可以在其中进行数据清洗工作，以使数据在爬取后自动清洗。这里给出我自定义的Pipeline：

public class MyTBJsonPipeline extends FilePersistentBase implements Pipeline {
    public MyTBJsonPipeline(String path) {
        this.setPath(path);
    }

    @Override
    public void process(ResultItems resultItems, Task task) {
        try {
            Iterator iterator = resultItems.getAll().values().iterator();
            while (iterator.hasNext()) {
                Map map = (Map) iterator.next();
                String name = map.get("itemId").toString();
                if (map.get("raw_title") == null) {
                    if (map.get("rateList")!=null)
                        name += "_tmall_comment";
                    else name += "_taobao_comment";
                    name+="_"+map.get("currentPage");
                }
                PrintWriter printWriter = new PrintWriter(new FileWriter(this.getFile(path + name + ".json")));
                printWriter.write(JSON.toJSONString(map));
                printWriter.close();
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

我针对每一条商品都存储了单独的文件，并将评论单独存储（文件名有所关联），进而能够清晰的展示信息。

完整代码见个人github：https://github.com/CieloSun/FashionSpider