zoukankan      html  css  js  c++  java
  • spark遇到的错误1-内存不足

    原来的代码:

     JavaRDD<ArticleReply> javaRdd = rdd.flatMap(new FlatMapFunction<String, ArticleReply>() {
                private static final long serialVersionUID = 10000L;
                List<ArticleReply> newList = new ArrayList<ArticleReply>();
                public Iterable<ArticleReply> call(String line) throws Exception {
                    String[] splits = line.split("	");
                    ArticleReply bean = new ArticleReply();
                    bean.setAreaId(split[0]);
                    bean.setAgent(Integer.parseInt(splits[1]));
                    bean.setSerial(splits[2]);
                    newList.add(bean);
                    return newList;
                }
            });

    正确写法:

     JavaRDD<ArticleReply> javaRdd = rdd.flatMap(new FlatMapFunction<String, ArticleReply>() {
                private static final long serialVersionUID = 10000L;
                
                public Iterable<ArticleReply> call(String line) throws Exception {
             List<ArticleReply> newList = new ArrayList<ArticleReply>(); String[] splits = line.split(" "); ArticleReply bean = new ArticleReply(); bean.setAreaId(split[0]); bean.setAgent(Integer.parseInt(splits[1])); bean.setSerial(splits[2]); newList.add(bean); return newList; } });

    错误的写法中把list声明和初始化在flatMap函数之外,造成每次调用flatMap函数后,list的bean会增加一个,同时程序会将改list返还回去,那么spark接收的对象1+2+3+...+N个,

    而不是N个,会极大地消耗spark的内存,造成spark运行内存不足。

  • 相关阅读:
    20145129 《Java程序设计》第1周学习总结
    问卷调查
    第十二周学习笔记
    第十一周学习总结
    信息安全系统设计基础实验二—20135214万子惠20135227黄晓妍
    信息安全系统设计基础实验一—20135227黄晓妍 20135214万子惠
    第九周学习报告
    家庭作业
    期中总结
    第七周学习报告:)
  • 原文地址:https://www.cnblogs.com/fillPv/p/5013732.html
Copyright © 2011-2022 走看看