zoukankan      html  css  js  c++  java
  • 网络爬虫之JSOUP

    JSOUP中文文档:http://www.open-open.com/jsoup/
    推荐博客:http://www.cnblogs.com/jycboy/p/jsoupdoc.html

    从一个URL加载一个Document

    Document doc = Jsoup.connect("http://example.com")
      .data("query", "Java")
      .userAgent("Mozilla")
      .cookie("auth", "token")
      .timeout(3000)
      .post();
    

    使用DOM方法来遍历一个文档

    File input = new File("/tmp/input.html");
    Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/");
    
    Element content = doc.getElementById("content");
    Elements links = content.getElementsByTag("a");
    for (Element link : links) {
        String linkHref = link.attr("href");
        String linkText = link.text();
    } 


    查找元素

    getElementById(String id)
    getElementsByTag(String tag)
    getElementsByClass(String className)
    getElementsByAttribute(String key) (and related methods

    元素数据

    attr(String key)获取属性attr(String key, String value)设置属性
    attributes()获取所有属性
    id(), className() and classNames()
    text()获取文本内容text(String value) 设置文本内容
    html()获取元素内HTMLhtml(String value)设置元素内的HTML内容


    使用选择器语法来查找元素

    Elements links = doc.select("a[href]"); //带有href属性的a元素
    Elements pngs = doc.select("img[src$=.png]");//扩展名为.png的图片
    Element masthead = doc.select("div.masthead").first(); //class等于masthead的div标签
    Elements resultLinks = doc.select("h3.r > a"); //在h3元素之后的a元素

    如何找到优酷网视频的URL的连接地址?
    视频的下面 有“ 分享 ”或 “站外引用 ”或是 贴到博客或BBS ,如果有点下,然后复制FALSH地址,在空间里写日志,点插入flash选项,加入flash的地址就可以了。
    代码示例:
    功能:使用JSoup爬取连接地址

    import java.io.IOException;
    import java.io.UnsupportedEncodingException;
    import java.net.URLEncoder;
    import org.jsoup.Jsoup;
    import org.jsoup.nodes.Document;
    import org.jsoup.nodes.Element;
    import org.jsoup.select.Elements;
    
    public class OnlineProductDownload {
    
    	public void demo1() {
    		// 从优酷下载包含视频结果的html
    		Document doc = getHtmlByName("冷然之天秤");
    		try {
    			//选择第一个结果
    			Element element = doc.select("div.s_inform").first();
    			// 获取播放源,不是优酷本站的返回(优酷可能会跳转到其他网站,如:爱奇艺)
    			Element playSource = element.select("div.pos_area span").first();
    			if (playSource.text() != "优酷") {
    				return;
    			}
    
    			//每个li一集(海贼王:第一集、第二集)
    			Elements li_Elements = element.select("ul.clearfix li");
    			for (Element li : li_Elements) {
    				// 获取第几集
    				Element span = li.getElementsByTag("span").first();
    				String text = span.text();
    				// 获取每集详情的url(并不是视频的真实url)
    				Element a = li.getElementsByTag("a").first();
    				String href = a.attr("href");
    
    				// 根据href获取详情网页文本
    				doc = getHtmlTextByUrl(href);
    				//查找实际结果标签
    				Element sourceLi = doc.select("ul.fn-share-code li").first();
    				// 根据doc获取播放插件. 如:
    				// <iframe src='http://player.youku.com/embed/XMzUwNjM1OTA0MA=='></iframe>
    				Element input = sourceLi.getElementsByTag("input").first();
    				String value = input.attr("value");
    				System.out.println(text + value);
    			}
    			// http://v.youku.com/v_show/id_XMzUwNjM1OTA0MA==.html
    		} catch (Exception e) {
    			e.printStackTrace();
    		}
    	}
    
    	// 功能:使用优酷的搜库来搜索视频,并根据名称获取网页文本 如:海贼王
    	public Document getHtmlByName(String name) {
    		if (name.isEmpty() || name.length() <= 0) {
    			return null;
    		}
    		// 拼接URL 优酷搜索形式:http://www.soku.com/search_video/q_海贼王
    		String url = "http://www.soku.com/search_video/q_";
    		try {
    			//url编码:%E6%B5%B7%E8%B4%BC%E7%8E%8B=海贼王
    			String encodeStr = URLEncoder.encode(name, "utf-8");
    			url = url + encodeStr;
    		} catch (UnsupportedEncodingException e1) {
    			e1.printStackTrace();
    		}
    		// 通过url获取html
    		try {
    			Document doc = Jsoup.connect(url).get();
    			return doc;
    		} catch (IOException e) {
    			e.printStackTrace();
    		}
    		return null;
    	}
    
    	// 根据url从网络获取网页文本
    	public Document getHtmlTextByUrl(String url) {
    		Document doc = null;
    		try {
    			//拼接成完整的路径
    			String str = "http:";
    			str = str + url;
    			doc = Jsoup.connect(str).get();
    		} catch (IOException e) {
    			e.printStackTrace();
    		}
    		return doc;
    	}
    
    }
    

      

  • 相关阅读:
    如何使用SAP Intelligent Robotic Process Automation自动操作Excel
    OpenSAML 使用引导 IV: 安全特性
    Spring Cloud Zuul 网关使用与 OAuth2.0 认证授权服务
    微服务架构集大成者—Spring Cloud (转载)
    Spring Cloud Eureka 服务注册列表显示 IP 配置问题
    使用 Notification API 开启浏览器桌面提醒
    SignalR 中使用 MessagePack 序列化提高 WebSocket 通信性能
    配置 Nginx 的目录浏览功能
    关于 Nginx 配置 WebSocket 400 问题
    Migrate from ASP.NET Core 2.0 to 2.1
  • 原文地址:https://www.cnblogs.com/zhumengke/p/8858147.html
Copyright © 2011-2022 走看看