zoukankan      html  css  js  c++  java
  • spark2.1:在RDD[unit].foreach(s=>{})内部调用sparkSession对象抛出NullPointException

    问题代码:

    val sample_data_combine_result=List(
    (0,(List(FitModel(4022,1447.92,-8.38983306721434,2.0),FitModel(4021,1447.92,-8.38983306721434,2.0)),2)),
    (1,(List(FitModel(1083,389.88,-11.057139857142857,3.0)),1)),
    (2,(List(FitModel(4022,1447.92,-8.38983306721434,2.0),FitModel(4023,1447.92,-8.38983306721434,2.0),FitModel(4024,1447.92,-8.38983306721434,2.0)),3))
    )
    
    sample_data_combine_result.foreach(s=>{
        var fitResultItems: ListBuffer[FitModelWithSceneType] = myCallFunc(s._2._1,s._1)
     
        // 调试跟踪结果为:
        //fitResultItems=ListBuffer(
        //    FitModelWithSceneType(0,1,3.0,-3.9110667661835516,0.6989700043360189),
        //    FitModelWithSceneType(0,51,3.0,-3.9110667661835516,1.1760912590556813)
        //)
     
        // 此处代码抛出异常:
        spark.createDataFrame(fitResultItems).createOrReplaceTempView("temp_test")
        sql("select * from temp_test").show
     
    })

    替换方案:

    替换方案:
    val result=sample_data_combine_result.flatMap(s=>{
        var fitResultItems: ListBuffer[FitModelWithSceneType] = myCallFunc(s._2._1,s._1)
        fitResultItems
    })
    spark.createDataFrame(result).createOrReplaceTempView("temp_test")
    sql("select * from temp_test").show

    注意:如果你的业务可以,也可以把flatMap替换为map,我这里边是要求返回结果为一维List集合。

  • 相关阅读:
    13.numpy线性代数和绘图
    12-numpy矩阵
    11-numpy视图与副本
    10-numpy排序搜索
    day12 异常 模块 单例
    day11面向对象 多态 静态方法 (三)
    day 10 面向对象(=)
    day9 面向对象
    day8 文件
    day7 地址 名片管理系统
  • 原文地址:https://www.cnblogs.com/yy3b2007com/p/8515549.html
Copyright © 2011-2022 走看看