Jsoup的简单的使用示例

利用Jsoup中的相关方法实现网页中的数据爬去，本例子爬去的网页为比较流行的programmableweb中的mashup描述内容，然后为数据库中存在的mashup添加相应的描述。

package com.test;

import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import com.bean.mashup_tags_apis;
import com.daoImpl.MashupDaoImpl;

public class JsoupTest {

    /**
     * @param args
     */
    public static void main(String[] args) {

        List<String> mashupName = new ArrayList<String>();
        List<String> mashupDescription = new ArrayList<String>();
        MashupDaoImpl mashupDaoImpl = new MashupDaoImpl();
        List<mashup_tags_apis> mashup_tags_apis = mashupDaoImpl
                .findAllmashup_tags_apis();

        try {

            // 获取网页内容，从第二页开始，第1页特殊处理
            for (int p = 220; p < 365; p++) {
                System.out.println("正在爬取第" + p + "个页面........");
                org.jsoup.nodes.Document doc = Jsoup.connect("http://www.programmableweb.com/mashups/directory/"
                                        + p).get();

                // 通过ID获得需要的表格
                Element content = doc.getElementById("mashups");

                // 按照[href*=/mashup/]取得数据
                Elements name = content.select("[href*=/mashup/]");

                // 踢出版本信息
                String RegexMatcher = "[\d.]+";

                // 向mashupName集合中添加名字
                for (int i = 0; i < name.size(); i++) {
                    String Name = name.get(i).text();
                    if (name.get(i).hasText() && !Name.matches(RegexMatcher)) {

                        mashupName.add(Name);
                    }
                }

                // 取得描述信息
                Elements description = content.getElementsByTag("p");
                // 向mashupDescription集合中添加描述信息
                for (Element descri : description) {
                    String Comment = descri.text();
                    if (p == 1) {
                        // 第一页处理方式（名字和描述都为空）
                        if (Comment != null && Comment.length() > 2) {
                            if (Comment != null) {
                                mashupDescription.add(Comment);
                            }
                        }
                    } else {
                        // 从第二页开始处理方式,描述为空用NoDescriptions占位
                        if (Comment == null) {
                            Comment = "NoDescriptions";
                        }
                        mashupDescription.add(Comment);
                    }

                }

                // 更新数据库
                for (int i = 0; i < mashupName.size(); i++) {
                    String Name = mashupName.get(i);
                    for (int j = 0; j < mashup_tags_apis.size(); j++) {
                        if (Name.equals(mashup_tags_apis.get(j).getName())) {
                            String destrcipString = mashupDescription.get(i);
                            if (Name != null && destrcipString != null) {
                                if (!mashupDaoImpl.updateMashup_tags_apis(
                                        destrcipString, Name)) {
                                    System.out.println("更新失败！");
                                }
                            }
                        }
                    }
                }

                // 清空集合爬取下一个页面
                mashupDescription.clear();
                mashupName.clear();
                System.out.println("第---------" + p + "---------个页面完成！
");
            }
        } catch (IOException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        // 显示输出查看是否正确
        // for (int i = 0; i < mashupName.size(); i++) {
        // System.out.println((i + 1) + " " + mashupName.get(i));
        // }
        //
        // for (int j = 0; j < mashupDescription.size(); j++) {
        // System.out.println((j + 1) + " " + mashupDescription.get(j));
        // }
        System.out.println("恭喜您，描述添加成功！");
    }
}

这也是我第一次是使用Jsoup，还是有很多东西等待自己慢慢发现......