나는 다음 하이브 QL의 유사한 목적을 구현하기 위해 스파크 Dataframe의 열을 수정할 계획입니다 스파크 Dataframe

Question

를 사용하여 UDF의 "over (partition by ..)"?

내 호출은 다음과 같이이다 :

def _udfuntion = { ... } 
val ownfunc = udf(_udfunction) 
df.withColumn("Rep", ownfunc($"Id", $"Age")) 

Answer 1

당신은 오히려 UDF보다 집계 함수 (UDAF) 정의 사용자를 사용해야합니다.

예를 들어, 거기에 몇 가지 좋은 사례가 있습니다 https://docs.databricks.com/spark/latest/spark-sql/udaf-scala.html 및 https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-sql-UserDefinedAggregateFunction.html