zoukankan      html  css  js  c++  java
  • 解决Spark filter过滤条件中使用>=或<=时不识别的问题

    一.场景

    1     val jldxx_zxzq = jldxx_with_dddf
    2       .withColumn("ZXZQ", zxzq(col("CBZQ")))
    3       .filter(row => row.getAs("ZXZQ")!= "") // 过滤掉异常数据
    4       // 如果存在,过滤掉抄表日期不在当前执行周期内的数据
    5       .filter(row => row.getAs("CBRQ") >= row.getAs("ZXZQ").split("_")(0) &&
    6         row.getAs("CBRQ") <= row.getAs("ZXZQ").split("_")(1))

    二.异常信息

      

    三.原因

      是因为使用getAs函数获取某列的数据时没有指明具体的类型,导致无法判断是否支持"<="或 ">="这类的运算符,因而会报错!

    三.解决方案

      使用getAs时指明具体的类型!

      代码如下:

    1 val jldxx_zxzq = jldxx_with_dddf
    2       .withColumn("ZXZQ", zxzq(col("CBZQ")))
    3       .filter(row => row.getAs("ZXZQ")!= "") // 过滤掉异常数据
    4       // 如果存在,过滤掉抄表日期不在当前执行周期内的数据
    5       .filter(row => row.getAs[String]("CBRQ") >= row.getAs[String]("ZXZQ").split("_")(0) &&
    6         row.getAs[String]("CBRQ") <= row.getAs[String]("ZXZQ").split("_")(1))
  • 相关阅读:
    win32程序添加控制台程序
    STL链表类模板的学习
    简单封装的串口通信类
    nyoj49 开心的小明
    hdu2094 产生冠军
    hdu1272 小希的迷宫
    hdu1106 排序
    hdu1999 不可摸数
    hdu2085 核反应堆
    nyoj119 士兵杀敌(三)
  • 原文地址:https://www.cnblogs.com/yszd/p/10278242.html
Copyright © 2011-2022 走看看