스파크. 배치로 분할 RDD

Question

나는 각 레코드는 int이며 RDD 가지고 : 나는 할 필요가 일괄 적으로이 RDD를 분할

[0,1,2,3,4,5,6,7,8] 

합니다. 나는.

1. 사용 ZipWithIndex :

   [[0,1,2], [3,4,5], [6,7,8]] 
   

   이 그러나, 나는 몇 일 지난 의아해하고 다음과 같은 솔루션을 제외하고 아무것도 찾을 수없는, 사소한 소리 : 각 요소 요소의 고정 된 크기 목록 또 다른 RDD을 지도()를 사용하여이 RDD를 통해

   [0,1,2,3,4,5] -> [(0, 0),(1, 1),(2, 2),(3, 3),(4, 4),(5, 5)]

2. 반복 처리를 색인 전압 계산 : RDD에서 레코드를 열거하는 X 생성 인덱스 index = int(index/batchSize)

   [1,2,3,4,5,6] -> [(0, 0),(0, 1),(0, 2),(1, 3),(1, 4),(1, 5)]

3. 다음 그룹 등을들 수있다.

   [(0, [0,1,2]), (1, [3,4,5])]

이 내가 필요한 걸 얻을 것이다, 그러나 여기에서 그룹을 사용하지 않습니다. 일반 맵 축소 또는 Apache Crunch와 같은 추상화를 사용하는 경우는 간단합니다. 하지만 무거운 그룹을 사용하지 않고 Spark에서 비슷한 결과를 산출하는 방법이 있습니까?

Answer 1

고정 크기 RDD가 필요한 이유를 명확하게 설명하지 못했습니다. 더 나은 솔루션이 될 수 있지만, 질문에 답하기 위해 다음 옵션이 표시됩니다.
1) 항목 및 배치 크기의 수를 기반으로 필터를 구현합니다. 예를 들어 원본 RDD에 1000 개의 항목이 있고 10 개의 배치로 분할하려는 경우 10 개의 필터를 적용하게됩니다. 첫 번째 항목은 인덱스가 [0, 99]이고 두 번째 항목이 [100, 199] 그리고 또 다른 한사람도. 각 필터를 적용한 후에는 하나의 RDD가 있습니다. 원래 RDD는 필터링 전에 캐시 될 수 있습니다. 장점 : 각 결과 RDD는 개별적으로 처리 될 수 있으므로 한 노드에 완전히 할당 할 필요가 없습니다. 단점 :이 접근법은 배치 수와 함께 느려집니다.
2) 논리적으로는 필터와 유사하지만 여기서는 설명 된대로 인덱스 (키)를 기반으로하는 파티션 ID를 반환하는 사용자 지정 파티션 도구를 구현합니다. Custom partitioner for equally sized partitions. 장점 : 필터보다 빠릅니다. 단점 : 각 파티션은 하나의 노드에 맞아야합니다.
3) 원본 RDD의 순서가 중요하지 않고 대략 똑같이 청크 할 필요가있는 경우 여기에서 설명 된대로 합체/재분할 할 수 있습니다. https://jaceklaskowski.gitbooks.io/mastering-apache-spark/spark-rdd-partitions.html