Spark에서 단어를 추가하는 좋은 방법이 있습니까?

Question

다음은 예제입니다.

데이터 집합 - dataset.txt

1 banana kiwi orange melon

코드 pairSet의 값을 추가 부품이 효율적 궁금

scala> val table = sc.textFile("dataset.txt").map(_.split(" ")) 

scala> table.take(1) 

res0: Array[Array[String]] = Array(Array(1, banana , kiwi , orange, melon)) 

scala> val pairSet = table.map{case Array(key,b,k,o,m) => (key, b+" "+k+" "+o+" "+m)} 

scala> pairSet.take(1) 

res1: Array[(String, String)] = Array((1, banana kiwi orange melon)) 

. 아니면 더 좋은 방법이 있습니까?

Answer 1

& 첫 번째 발생으로 나눌 수 있습니다. key & value입니다.

val table = sc.textFile("dataset.txt").map { x => 
    val splits = x.split(" ",2) 
    (splits(0), splits(1)) 
} 

Answer 2

논리에 대한 접근 방식은 항상 배열에 동일한 양의 데이터가있는 경우에만 작동합니다. 이것을 시도해 볼 수도 있습니다. 이 거기에 사용하여

val table = sc.textFile("dataset.txt") 
val pairedDF = table.map{ line => 
         val array = line.split(" ", 2) 
         (array(0), array(1)) 
         } 

당신은 분할 후 크기가 고정 될하는 배열을 제한하지 않습니다.

호프가 제대로 작동하길 바랍니다.

감사합니다.