zoukankan      html  css  js  c++  java
  • spark2.1:在RDD[unit].foreach(s=>{})内部调用sparkSession对象抛出NullPointException

    问题代码:

    val sample_data_combine_result=List(
    (0,(List(FitModel(4022,1447.92,-8.38983306721434,2.0),FitModel(4021,1447.92,-8.38983306721434,2.0)),2)),
    (1,(List(FitModel(1083,389.88,-11.057139857142857,3.0)),1)),
    (2,(List(FitModel(4022,1447.92,-8.38983306721434,2.0),FitModel(4023,1447.92,-8.38983306721434,2.0),FitModel(4024,1447.92,-8.38983306721434,2.0)),3))
    )
    
    sample_data_combine_result.foreach(s=>{
        var fitResultItems: ListBuffer[FitModelWithSceneType] = myCallFunc(s._2._1,s._1)
     
        // 调试跟踪结果为:
        //fitResultItems=ListBuffer(
        //    FitModelWithSceneType(0,1,3.0,-3.9110667661835516,0.6989700043360189),
        //    FitModelWithSceneType(0,51,3.0,-3.9110667661835516,1.1760912590556813)
        //)
     
        // 此处代码抛出异常:
        spark.createDataFrame(fitResultItems).createOrReplaceTempView("temp_test")
        sql("select * from temp_test").show
     
    })

    替换方案:

    替换方案:
    val result=sample_data_combine_result.flatMap(s=>{
        var fitResultItems: ListBuffer[FitModelWithSceneType] = myCallFunc(s._2._1,s._1)
        fitResultItems
    })
    spark.createDataFrame(result).createOrReplaceTempView("temp_test")
    sql("select * from temp_test").show

    注意:如果你的业务可以,也可以把flatMap替换为map,我这里边是要求返回结果为一维List集合。

  • 相关阅读:
    Linux内核tracepoints
    Linux 设备驱动的固件加载
    Android HIDL HAL 接口定义语言详解
    Android HIDL 详解
    Android各版本对应的SDK版本
    ifconfig调用过程
    Input系统—启动篇
    Linux下2号进程的kthreadd--Linux进程的管理与调度
    rest_init函数分析(续)
    【python】-常用模块2
  • 原文地址:https://www.cnblogs.com/yy3b2007com/p/8515549.html
Copyright © 2011-2022 走看看