Spark MLlib java TF-IDF计算 (spark 1.5.2)

import java.util.Arrays;
import java.util.List;

import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.Function;
import org.apache.spark.mllib.feature.HashingTF;
import org.apache.spark.mllib.feature.IDF;
import org.apache.spark.mllib.feature.IDFModel;
import org.apache.spark.mllib.linalg.Vector;


public class Test {

	/*
	 * tf-idf含义
	 * TF-IDF是一种特征向量化方法，这种方法多用于文本挖掘，
	 * 通过算法可以反应出词在语料库中某个文档中的重要性。
	 * 文档中词记为t，文档记为d , 语料库记为D . 词频TF(t,d) 是词t 在文档d 中出现的次数。
	 * 文档频次DF(t,D) 是语料库中包括词t的文档数。如果使用词在文档中出现的频次表示词的重要程度，
	 * 那么很容易取出反例，即有些词出现频率高反而没多少信息量， 如,”a” , “the” , “of” 。
	 * 如果一个词在语料库中出现频率高，说明它在特定文档集中信息量很低。
	 * 逆文档频次（inverse document frequency）是词所能提供的信息量的一种度量
	 * 
	 */
	public static void main(String[] args) {
		SparkConf conf = new SparkConf();
		conf.setAppName("WordCounter").setMaster("local");
		JavaSparkContext sc = new JavaSparkContext(conf);

		final HashingTF hashingTF = new HashingTF();
		
		/*
		 	hello mllib
			spark
			goodBye spark
			hello spark
			goodBye spark
		 */
		JavaRDD<String> text = sc.textFile("C:/Users/dulinan/Desktop/spam1.txt");
		
		JavaRDD<Vector> tf = text.map(new Function<String, Vector>() {

			@Override
            public Vector call(String v1) throws Exception {
	            return hashingTF.transform(Arrays.asList(v1.split(" ")));
            }
		});
        IDFModel idf = new IDF().fit(tf);
        
        JavaRDD<Vector> tfIdf = idf.transform(tf);
        
        List<Vector> list = tfIdf.collect();
        System.out.println(list);
	}
}