java网络爬虫-利用phantomjs和jsoup爬取动态ajax加载页面

java基于windows爬取ajax加载的动态页面需要一定的辅助工具支持，本文爬取ajax加载的动态页面所使用的工具是phantomJS(关于phantomJS的介绍百度一大堆)

首先下载phantomJS；下载地址：https://phantomjs.org/download.html

下载之后解压文件，为了后面方便使用建议单独放在一个文件夹里面，例如我这边是放在F盘下面单独的文件夹phantomjs,然后进入phantomjs--bin点击运行phantomjs.exe，出现一下界面：

即表示可以正常运行js代码了。（如果要经常使用建议配置path环境）

接下来就是爬取页面了。

首先需要写一个js（例：parser.js）：

system = require('system')
address = system.args[1];
var page = require('webpage').create();
var url = address;

page.settings.resourceTimeout = 1000*10; // 10 seconds
page.onResourceTimeout = function(e) {
    console.log(page.content);
    phantom.exit(1);
};

page.open(url, function (status) {
    //Page is loaded!
    if (status !== 'success') {
        console.log('Unable to post!');
    } else {
        console.log(page.content);
    }
    phantom.exit();
});

然后是java代码（我的parser.js是放在F盘下面的）：

//读取动态页面
    public static String dynamicHtml(String url){
        Runtime rt = Runtime.getRuntime();
        Process process = null;
        String html = "";
        try {
            process = rt.exec("F:\phantomjs\bin\phantomjs.exe F:/parser.js " +url);
            InputStream in = process.getInputStream();
            InputStreamReader reader = new InputStreamReader(in, "UTF-8");
            BufferedReader br = new BufferedReader(reader);
            String tmp = "";
            while ((tmp = br.readLine()) != null) {
                html = html + tmp;
            }
            br.close();
            reader.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return html;
    }

处理逻辑（利用Jsoup爬取）：

public static void ReadAjaxDynamicHtml(String htmlUrl){
        String imageHtml = dynamicHtml(htmlUrl);
        Document imageDoc = Jsoup.parse(imageHtml);
        //如果选择其中部分元素 有class就用：
        //Elements childrenImg = imageDoc.select(".class");
        //System.err.println(childrenImg.html());
        //System.err.println(childrenImg.text());
        //如果选择其中部分标签 比如img：
        //Elements childrenImg = imageDoc.select("img");
        System.err.println(imageDoc);
        /* 接下来的处理逻辑 */
        // ...
    }

main方法调用示例：

public static void main(String[] args) {
        String htmlUrl = "http://www.baidu.com";
        ReadAjaxDynamicHtml(htmlUrl);
    }

显示的结果部分截图：

jar参考：

<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
<dependency>
    <groupId>org.jsoup</groupId>
    <artifactId>jsoup</artifactId>
    <version>1.8.3</version>
</dependency>

至此测试完成。爬取页面或会涉及读取文本和图片，给出示例读取文本和下载图片到本地示例代码：

/**
     *
     * @param text 要写入的文本
     * @param fileName 文件名
     * @throws IOException
     */
    public static void Writer(String text,String fileName) throws IOException {
        // 生成的文件路径
        String path = "F:\" + fileName + System.currentTimeMillis() + ".txt";
        File file = new File(path);
        if (!file.exists()) {
            file.getParentFile().mkdirs();
        }
        file.createNewFile();
        OutputStreamWriter fw = new OutputStreamWriter(new FileOutputStream(file), "UTF-8");
        BufferedWriter bw = new BufferedWriter(fw);
        bw.write(text);
        bw.flush();
        bw.close();
        fw.close();
    }

/**
     * 
     * @param urlList 图片地址
     * @param path 存储路径
     */
    private static void downloadPicture(String urlList,String path) {
        URL url = null;
        try {
            url = new URL(urlList);
            DataInputStream dataInputStream = new DataInputStream(url.openStream());
            File file = new File(path);
            if (!file.exists()) {
                file.getParentFile().mkdirs();
            }
            //file.createNewFile();
            FileOutputStream fileOutputStream = new FileOutputStream(file);
            ByteArrayOutputStream output = new ByteArrayOutputStream();

            byte[] buffer = new byte[1024];
            int length;

            while ((length = dataInputStream.read(buffer)) > 0) {
                output.write(buffer, 0, length);
            }
            BASE64Encoder encoder = new BASE64Encoder();
            String encode = encoder.encode(buffer);//返回Base64编码过的字节数组字符串
            fileOutputStream.write(output.toByteArray());
            dataInputStream.close();
            fileOutputStream.close();
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

当然 接口入参可自定义。