zoukankan      html  css  js  c++  java
  • spark DataSe[A] 使用map或者Flatmap算子转化为DataSet[B]时,shcema变为binary

    现象:

    代码如下

    打印出来结果为

    原因:

    序列化出现了问题,这里我在前面引用的Encoder 是

        implicit val odsClewordPacakgesBeanEncoder = org.apache.spark.sql.Encoders.kryo[DimIdpCourseStructInfoBean]
    
    DimIdpCourseStructInfoBean 是自定义的样例类

    解决方法

    更换Encoder,

        implicit val odsClewordPacakgesBeanEncoder = org.apache.spark.sql.Encoders.kryo(DimIdpCourseStructInfoBean.getClass)
    

      注意,如果传参为 classOf[DimIdpCourseStructInfoBean],结果一样不行,原因还不是很明白。

  • 相关阅读:
    ACM-ICPC 2018 南京赛区网络预赛 J.Sum
    汉诺塔
    汉诺塔
    D
    D
    数学小定理
    数学小定理
    Python index()方法
    Python endswith()方法
    Python encode()方法
  • 原文地址:https://www.cnblogs.com/yangxusun9/p/14838331.html
Copyright © 2011-2022 走看看