zoukankan      html  css  js  c++  java
  • 通过Jsoup,爬取车辆品牌,车系,LOGO等

        @Test
        public void test4() throws IOException {
            for (int i = 65; i <= 90; i++) {
                String value = String.valueOf((char) i);
    
                FileUtil.mkdir("e://pinpai//" + value);
    
                System.out.println("***********************" + value);
                String url = "https://www.autohome.com.cn/grade/carhtml/" + value + ".html";
                Document document = Jsoup.parse(new URL(url), 300000);
                document.getElementsByTag("dl").stream().forEach(element -> {
                    String imgUrl = "https:" + element.getElementsByTag("dt").get(0).getElementsByTag("img").get(0).attr("src");
                    String mainBrand = element.getElementsByTag("dt").get(0).getElementsByTag("a").get(1).text();
    
                    //图片LOG
                    System.out.println(imgUrl);
                    //System.out.println(HttpUtil.downloadFile(imgUrl, FileUtil.file("e://pinpai//" + value)));
                    //主品牌
                    System.out.println(mainBrand);
                    //子品牌
                    element.getElementsByTag("dd").get(0).getElementsByClass("h3-tit").tagName("a").stream().forEach(element1 -> {
                        System.out.println(element1.text());
                        //车系
                        List<String> seriesBrand = element1.nextElementSibling().getElementsByTag("h4").stream().map(Element::text).collect(Collectors.toList());
                        System.out.println();
    
                        //vehicleBrandService.save(VehicleBrand.builder().flag(value).logoBrand(imgUrl).mainBrand(mainBrand).subBrands(element1.text()).seriesBrand(JSON.toJSONString(seriesBrand)).build());
                    });
                    System.out.println("-----------");
                });
            }
        }
  • 相关阅读:
    组合总和
    子集Ⅱ
    子集
    全排列Ⅱ
    全排列
    填充下一个结点下一个Next结点
    把二叉树转化成累加树
    二叉树的左叶子之和
    高速C/C++编译工具ccache
    【转载】如何用U盘制作Ubuntu启动盘
  • 原文地址:https://www.cnblogs.com/luliang888/p/14034489.html
Copyright © 2011-2022 走看看