zoukankan      html  css  js  c++  java
  • For循环中不可以嵌套RDD操作

    今天犯了一个致命理解错误,Spark中的RDD Map操作只是一个计算式的传递,并不是Action,也就是在for循环中不会产生真正的计算。

    因此,如果for循环中出现了RDD的Map类似操作,都会引起异常,例如栈溢出等等,属于相互引用错误。

    把我的错误代码贴在下面,加深理解。

            List<String> list = new ArrayList<>();
            list.add("OK1");
    
            JavaRDD<String> temp = jsc.parallelize(list);
            for (int i=0; i<num; i++) {
                for (int j=i+1; j<num; j++) {
                    List<String> list2 = new ArrayList<>();
                    list2.add("OK2");
                    temp = temp.union(jsc.parallelize(list2));
                }
            }
            List<String> list3 = temp.collect();
    

      

  • 相关阅读:
    类继承
    抽象基类 纯虚函数
    虚函数
    Java网络通信
    Java补补补
    刷LeetCode吧
    贝叶斯网络的
    vscode添加vue模板
    vue--项目实例
    Java01
  • 原文地址:https://www.cnblogs.com/shixiangwan/p/6379710.html
Copyright © 2011-2022 走看看