如何解决哪一个在火花数据帧中产生更好的性能?
这里哪个应该更快?或者两者具有相同的性能水平?
-) 正常功能
private def fun(lc: Column): Column = lc - lag(lc,offset = 10,defaultValue = 0).over(Window.partitionBy("colN").orderBy())
-) UDF
val funUdf = udf (fun_)
1) df.withColumn("abc",fun("col1"))
2) df.withColumn("abc",funUdf ("col1"))
哪个执行得更快?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。