zoukankan      html  css  js  c++  java
  • 使用 java 做爬虫的简单例子

    感谢原作者提供,原文链接:https://www.cnblogs.com/hckblogs/p/7751974.html

    package com.wudianyi.wb.scshop.action.admin;
    
    import java.io.BufferedReader;
    import java.io.IOException;
    import java.io.InputStream;
    import java.io.InputStreamReader;
    import java.net.MalformedURLException;
    import java.net.URL;
    
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    
    /**
    * @author Mongo
    */
    public class Reptile {
    	public static void main(String[] args) {       
    	    String url1="";          //传入你所要爬取的页面地址
    	    InputStream is=null;     //创建输入流用于读取流
    	    BufferedReader br=null;  //包装流,加快读取速度
    	    StringBuffer html=new StringBuffer(); //用来保存读取页面的数据.
    	    String  temp=""; //创建临时字符串用于保存每一次读的一行数据,然后html调用append方法写入temp;
    	    try {
    	        URL url2 = new URL(url1); //获取URL;
    	        is = url2.openStream();   //打开流,准备开始读取数据;
    	        br= new BufferedReader(new InputStreamReader(is)); //将流包装成字符流,调用br.readLine()可以提高读取效率,每次读取一行;
    	        while ((temp = br.readLine()) != null) {//读取数据,调用br.readLine()方法每次读取一行数据,并赋值给temp,如果没数据则值==null,跳出循环;
    	        html.append(temp); //将temp的值追加给html,这里注意的时String跟StringBuffere的区别前者不是可变的后者是可变的;
    	        }
    //	        System.out.println(html); //打印出爬取页面的全部代码;
    	        if(is!=null)        //接下来是关闭流,防止资源的浪费;
    	        {
    	            is.close();
    	            is=null;
    	        }
    	        Document doc = Jsoup.parse(html.toString());  //通过Jsoup解析页面,生成一个document对象;
    	        Elements elements = doc.getElementsByClass("day");//通过class的名字得到(前端选择器,不是类!),一个数组对象Elements里面有我们想要的数据,至于这个div的值呢你打开浏览器按下F12就知道了;
    	        
    	        System.out.println("==开始==");
    	        for (Element element : elements) {
    	            System.out.println(element.text()); //打印出每一个节点的信息;你可以选择性的保留你想要的数据,一般都是获取个固定的索引;        
    	            System.out.println("-----------------------------");
    	        }            
    	        System.out.println("==结束==");
    	    } catch (MalformedURLException e) {
    	        // TODO Auto-generated catch block
    	        e.printStackTrace();
    	    } catch (IOException e) {
    	        // TODO Auto-generated catch block
    	        e.printStackTrace();
    	    }
    	    System.out.println("走完了");
    	}
    }
    

      

  • 相关阅读:
    华为超大云数据中心落地贵州,这些硬核技术有利支撑“东数西算”
    在高并发环境下该如何构建应用级缓存
    使用 Python Poetry 进行依赖管理
    AI新手语音入门:认识词错率WER与字错率CER
    一文带你了解什么是GitOps
    需求蔓延,常见但不正常,教你如何破
    云图说|初识ModelArts开发者生态社区——AI Gallery
    XML学习笔记:关于字符编码的理解~
    Python中单引号、双引号和三双引号的区别:
    LBFGS算法的使用~
  • 原文地址:https://www.cnblogs.com/xuehuashanghe/p/10407947.html
Copyright © 2011-2022 走看看