熟悉python的同学都知道,如果一个函数要求的是变长参数,传入一个list是不对的,需要把list通过*list解包才能正常使用.例如:
def func(*args): for arg in args: print(arg) li=[1,3,4,7] func(li)这个结果是不对的 func(*li)这个是对的
那么Scala中有没有类似的功能的,答案是肯定的
下面的代码中Window.partitionBy()的参数是cols:Column*,支持传入一个可变长度的Column序列
这个时候如果只是传入rowKey必须是报错的,因为rowKey是一个Array类型,通过:_*就把一个Array拆开成了一个变长序列
val rowKey= primaryKey.split(",").map(x=>col(x))
newDF = dataDF.withColumn("row_num", row_number() .over(Window.partitionBy(rowKey:_*).orderBy(col(sortKey).desc))) .where(col("row_num") === 1) .drop("row_num")