网络爬虫-爬取微博热门话题前15个

用java+webdriver+testng实现获取微博热门话题前15个，包括话题排名、标题、阅读量、内容，写入txt文件功能

前提条件：

已安装好java环境，工程导入了webdriver的jar包和testng的jar包

代码如下：

第一：新建PublicModel类，该类中实现了写入txt的文件功能和初始化方法

package com.ustc.publics;

import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.ArrayList;
import java.util.HashMap;

import org.openqa.selenium.WebDriver;
import org.openqa.selenium.ie.InternetExplorerDriver;

public class PublicModel {
    public static WebDriver driver;

    /**
     * 初始化方法
     */
    public static void initModel() {
        driver = new InternetExplorerDriver();
         /*driver.manage().timeouts().implicitlyWait(3, TimeUnit.SECONDS);*/
        driver.manage().window().maximize();
    }

    

    /**
     * 写入txt文件方法数组
     * 
     * @param hotTopics
     *            hashmap的数组内容
     * @param file
     *            文件名称
     * @throws IOException
     */
    public static void writeContent(ArrayList<HashMap<String, String>> hotTopics, String file) throws IOException {
        /* 文件名：当前工程路径+result+file.txt */
        String filename = System.getProperty("user.dir") + File.separator + "result" + File.separator + file + ".txt";
        FileOutputStream fis = new FileOutputStream(filename);

        /* 遍历arrayList的hashMap内容，按行写入txt文件 */
        for (int i = 0; i < hotTopics.size(); i++) {
            byte[] a = hotTopics.get(i).toString().getBytes();
            fis.write(a);
            fis.write('
');
        }
        fis.close();
    }

}

第二：新建BlogTopic类，该类继承了PublicModel类，实现功能为获取微博热门话题15个，包括话题排名、标题、阅读量、内容

package com.ustc.base;

import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;

import org.openqa.selenium.By;
import org.openqa.selenium.WebElement;
import org.testng.annotations.AfterClass;
import org.testng.annotations.BeforeClass;
import org.testng.annotations.Test;

import com.ustc.publics.PublicModel;


public class BlogTopic extends PublicModel {

    @BeforeClass
    public void setUp() {
        initModel();
    }

    /**
     * 获取微博热门话题前15个，包括话题排名、标题、阅读量、内容，写入txt文件
     * @throws Exception
     */
    @Test
    public void getHotTopic() throws Exception {
        String url = "http://d.weibo.com/100803?cfs=&Pl_Discover_Pt6Rank__5_filter=hothtlist_type%3D1#_0";
        driver.get(url);
        /* 获取微博热门话题根节点 */
        WebElement rootNode = driver.findElement(By.id("Pl_Discover_Pt6Rank__5"))
                .findElement(By.cssSelector("ul[class^='pt_ul']"));
        List<WebElement> nodes = rootNode.findElements(By.cssSelector("li[class^='pt_li']"));
        /* 遍历添加话题排名、标题、阅读数、内容到数组中 */
        ArrayList<HashMap<String, String>> hotTopics = new ArrayList<HashMap<String, String>>();
        for (WebElement node : nodes) {
            HashMap<String, String> topic = new HashMap<String, String>();
            topic.put("正文链接", node.findElement(By.className("S_txt1")).getAttribute("href").toString());
            topic.put("阅读量", node.findElement(By.className("number")).getText());
            topic.put("话题排名", node.findElement(By.cssSelector("span[class^='DSC_topicon']")).getText());
            topic.put("标题", node.findElement(By.className("S_txt1")).getText());
            hotTopics.add(topic);
        }
        /*数组数据写入txt*/
        writeContent(hotTopics,"blogtopic");
    }

    @AfterClass
    public void quit() {
        driver.quit();
    }

}

第三：配置testng.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE suite SYSTEM "http://testng.org/testng-1.0.dtd">
<suite name="Suite" parallel="false">
  <test name="Test">
    <classes>
      <class name="com.ustc.base.BlogTopic"/>    <!--1：微博热门话题  -->
    </classes>
  </test> <!-- Test -->
</suite> <!-- Suite -->

运行testng.xml结果为：
项目路径result目录下生成了一个文件：blogtopic.txt，内容如下：