zoukankan html css js c++ java

解决Spark filter过滤条件中使用>=或<=时不识别的问题

一.场景

1     val jldxx_zxzq = jldxx_with_dddf
2       .withColumn("ZXZQ", zxzq(col("CBZQ")))
3       .filter(row => row.getAs("ZXZQ")!= "") // 过滤掉异常数据
4       // 如果存在，过滤掉抄表日期不在当前执行周期内的数据
5       .filter(row => row.getAs("CBRQ") >= row.getAs("ZXZQ").split("_")(0) &&
6         row.getAs("CBRQ") <= row.getAs("ZXZQ").split("_")(1))

二.异常信息

三.原因

　　是因为使用getAs函数获取某列的数据时没有指明具体的类型，导致无法判断是否支持"<="或 ">="这类的运算符，因而会报错！

三.解决方案

　　使用getAs时指明具体的类型！

　　代码如下：

1 val jldxx_zxzq = jldxx_with_dddf
2       .withColumn("ZXZQ", zxzq(col("CBZQ")))
3       .filter(row => row.getAs("ZXZQ")!= "") // 过滤掉异常数据
4       // 如果存在，过滤掉抄表日期不在当前执行周期内的数据
5       .filter(row => row.getAs[String]("CBRQ") >= row.getAs[String]("ZXZQ").split("_")(0) &&
6         row.getAs[String]("CBRQ") <= row.getAs[String]("ZXZQ").split("_")(1))

查看全文

相关阅读:
捡来的一个大数模版。很好用
 小探catlan数
 hdu1060数学题求幂最左边的数
 食物相克
 工作瓶颈思路问题
 从用户态open到内核驱动实现
 内核代码结构
 I2C原理
 asm
man 2 3 5 普通命令(1) 函数库(3)

原文地址：https://www.cnblogs.com/yszd/p/10278242.html