zoukankan      html  css  js  c++  java
  • spark遇到的错误1-内存不足

    原来的代码:

     JavaRDD<ArticleReply> javaRdd = rdd.flatMap(new FlatMapFunction<String, ArticleReply>() {
                private static final long serialVersionUID = 10000L;
                List<ArticleReply> newList = new ArrayList<ArticleReply>();
                public Iterable<ArticleReply> call(String line) throws Exception {
                    String[] splits = line.split("	");
                    ArticleReply bean = new ArticleReply();
                    bean.setAreaId(split[0]);
                    bean.setAgent(Integer.parseInt(splits[1]));
                    bean.setSerial(splits[2]);
                    newList.add(bean);
                    return newList;
                }
            });

    正确写法:

     JavaRDD<ArticleReply> javaRdd = rdd.flatMap(new FlatMapFunction<String, ArticleReply>() {
                private static final long serialVersionUID = 10000L;
                
                public Iterable<ArticleReply> call(String line) throws Exception {
             List<ArticleReply> newList = new ArrayList<ArticleReply>(); String[] splits = line.split(" "); ArticleReply bean = new ArticleReply(); bean.setAreaId(split[0]); bean.setAgent(Integer.parseInt(splits[1])); bean.setSerial(splits[2]); newList.add(bean); return newList; } });

    错误的写法中把list声明和初始化在flatMap函数之外,造成每次调用flatMap函数后,list的bean会增加一个,同时程序会将改list返还回去,那么spark接收的对象1+2+3+...+N个,

    而不是N个,会极大地消耗spark的内存,造成spark运行内存不足。

  • 相关阅读:
    java——base64 加密和解密
    BASE64Encoded() 方法报错说方法未定义
    java 实现HTTP连接(HTTPClient)
    如何关闭一些烦人的弹窗(总结)
    IDEA
    6、git和github
    5、预测和鉴定miRNA的靶基因
    4、在线blast比对结果解析(保守结构域)
    ASE分析
    3、Linux下配置Java环境
  • 原文地址:https://www.cnblogs.com/fillPv/p/5013732.html
Copyright © 2011-2022 走看看