스파크 데이터 프레임 열을 맵 열에 포함시키는 방법은 무엇입니까?

Question

많은 열이있는 스파크 데이터 프레임이 있습니다. 이제 저는 그것들을지도에 결합하고 새로운 열을 만들고 싶습니다. 예 :

df.withColumn("newcol", struct(df.columns.head, df.columns.tail: _*)) 

그러나, 나는 여전히 dataset df 명령 변환해야합니다 :이 작업을 수행하는

col1:String col2:String col3:String... coln:String => 
col: Map(colname -> colval) 

한 가지 방법이다. 나는 struct 타입과 일치 할 수있는 케이스 클래스를 정의하는 방법을 모른다.

또 다른 옵션은지도 유형에 항목을 삽입하는 것이지만이를 표현하는 방법을 모르겠습니다.

Answer 1

기존의 모든 열에서 새 열을 작성하려면 다음과 같은 간단한 해결책이 있습니다.

var mydata = Seq(("a", "b", "c"), ("d", "e", "f"), ("g", "h", "i")) 
       .toDF("f1", "f2", "f3") 

var colnms = mydata.columns.map(lit(_)) 
var colvals = mydata.columns.map(col(_)) 
var colnms_n_vals = colnms.zip(colvals).flatMap{ case (a,b) => Array(a,b) } 

display(mydata.withColumn("myMap", map(colnms_n_vals:_*))) 

결과 :

여기

org.apache.spark.sql.functions.map 

가 완벽하게 작동 예입니다

import org.apache.spark.sql.functions._ 
val columnsName = ds.columns 
val mkMap = udf((values: mutable.WrappedArray[Int]) => columnsName.zip(values).toMap) 
ds.withColumn("new_col", mkMap(array(columnsName.head, columnsName.tail:_*))) 

Answer 2

는 성능상의 이유로, 당신은 기존 스파크 기능을 사용하여 자신의 UDF 롤링 방지 할 수 있습니다 이 :

f1 f2 f3 myMap 
a b c {"f1":"a","f2":"b","f3":"c"} 
d e f {"f1":"d","f2":"e","f3":"f"} 
g h i {"f1":"g","f2":"h","f3":"i"}