spark rdd持久化的简单对比

未使用rdd持久化

使用后

 通过对比可以发现,未使用RDD持久化时,第一次计算比使用RDD持久化要快,但之后的计算显然要慢的多,差不多10倍的样子

代码

public class PersistRDD {
    private static SparkConf conf = new SparkConf().setMaster("local").setAppName("persistrdd");
    private static JavaSparkContext jsc = new JavaSparkContext(conf);
    public static void main(String[] args) {
        JavaRDD<String> rdd = jsc.textFile("D:\inputword\result.txt").cache();
        
        long start = System.currentTimeMillis();
        long count = rdd.count();
        System.out.println("数量------" + count);
        long end = System.currentTimeMillis();
        System.out.println("耗时------" + (end-start) + "毫秒");
        
        
        start = System.currentTimeMillis();
        count = rdd.count();
        System.out.println("数量------" + count);
        end = System.currentTimeMillis();
        System.out.println("耗时------" + (end-start) + "毫秒");
        
        jsc.close();
    }
}