왜

Question

이 조각 [*]에서 찾아 보게한다 "결합"RDD 지원 스파크하지 않습니다

val la = List(Array(2, 3, 5), Array(7, 11, 13)) 
la.flatten 

반환 이제

res1: List[Int] = List(2, 3, 5, 7, 11, 13) 

을, 나는 스파크와 함께 놀았 던 내가 발견 문제가있을 때. 코드 조각 : 오른쪽 측 표현 유형에 RDD[Array[String]]

처럼 그대로

val myRdd: RDD[String] = sc.textFile("myFilePath", 10) map (_.split("\n")) 

컴파일하지 않습니다 [*], 나는 트릭 할 것 평평하게 생각했다

val myRdd: RDD[String] = (sc.textFile("myFilePath", 10) map (_.split("\n"))).flatten 

을 그러나 RDD은이 작업을 제공하지 않습니다. 내 질문은 여기로

1. flatten을 지원하지 않는 RDD이면의 (설계) 이유는 무엇입니까?
2. RDD 작동 방식에 대한 중요한 부분을 놓치고 있습니까?

P. 난 그냥 내가

val myRdd: RDD[String] = (sc.textFile("myFilePath", 10) map (_.split("\n"))).flatMap(x => x) 

Answer 1

현재지도 대신 flatMap 사용하고자 원하는 것을 달성하기 위해 기존의 좋은 flatMap를 사용할 수 있음을 알고있다.

val myRdd: RDD[String] = sc.textFile("myFilePath", 10) flatMap (_.split("\n")) 

텍스트 또한 파일이 이미 분할되어 있으므로 분할하지 않아도됩니다.

구현이 어렵고 동일한 효과를 내기 위해 을 사용할 수 있기 때문에 Flatten이 구현되지 않았습니다. 어쨌든 중복 될 것이기 때문에 구현할 가치가 없습니다. https://issues.apache.org/jira/browse/SPARK-18855을 참조하십시오.