zoukankan      html  css  js  c++  java
  • spark 读取mongodb失败,报executor time out 和GC overhead limit exceeded 异常

    代码:

    import com.mongodb.spark.config.ReadConfig
    import com.mongodb.spark.sql._
    val config = sqlContext.sparkContext.getConf
    .set("spark.mongodb.keep_alive_ms", "15000")
    .set("spark.mongodb.input.uri", "mongodb://10.100.12.14:27017")
    .set("spark.mongodb.input.database", "bi")
    .set("spark.mongodb.input.collection", "userGroupMapping")
    val readConfig = ReadConfig(config)
    val objUserGroupMapping = sqlContext.read
    .format("com.mongodb.spark.sql")
    .mongo(readConfig)
    objUserGroupMapping.printSchema()
    val tbUserGroupMapping=objUserGroupMapping.toDF()
    tbUserGroupMapping.registerTempTable("userGroupMapping")
    
    select _id,c,g,n,rn,t,ut from userGroupMapping where ut>'2018-05-02' limit 100

    使用上述的代码取userGroupMapping 集合过后的100条记录,出现了executor time out 和GC overhead limit exceeded 异常。一开始以为推测是task 从mongodb取的数据太大,导致spark executor内存不够,后来调研了一下spark mongodb connector 在取数据的时候是条件下发的,也就是先从mongodb过滤再取回spark 内存,这样的话就不会出现内存不够的情况。后来在网上调研后,有一种说法是说task 太多,导致task gc的时候争夺gc时间和内存资源(这个不是很清楚),根据这种说法,我把本来task core 从16个调成6个后再跑程序,居然不会报错了。至于 具体原因还不是很清楚,先在这里记录一下。

  • 相关阅读:
    用Apache 里面的ab做一个简单的压力测试
    优化加载jQuery的方法
    html的head里出现了 http://c.cnzz.com/core.php
    使用wget命令时发生错误
    Thinkphp 用PHPExcel 导入Excel
    001--初探ts
    006--面试之异步
    001--Node.js之EventLoop
    005--面试原型之jQuery和zepto的简单使用
    004--面试之ES6其他常用的功能
  • 原文地址:https://www.cnblogs.com/chengjunhao/p/8984466.html
Copyright © 2011-2022 走看看