이 경우 어떻게 k-v 쌍을 얻을 수 있습니까? 나는 몇 가지 데이터를 처리하기 위해 불꽃을 사용하고

Question

:

val firstRdd = datas.map(data => 
    if (data.Type == 1) (data.id, data)) 
val secondRdd = datas.map(data => 
    if (data.Type == 2) (data.parentId, data)) 

을 한 후 나는 secondRdd와 firstRdd에 가입하고 싶은데, 나는 그들이 KV 쌍에없는 것을 발견, 그래서 나는 할 수 없습니다 : 지금 내가 가진 여기에서 조인을 수행하십시오. 어떻게하면 같은 구조의 kv 쌍을 얻을 수 있습니까?

Answer 1

당신은 각 RDD에서 원하는 그 행을 필터링 한 후 쌍 RDD

val firstRdd = datas.filter(_.Type == 1).map(data => 
    (data.id, data)) 
val secondRdd = datas.filter(_.Type == 2).flatMap(data => 
    data.parentId.map(parentId => (parentId, data))) 
firstRdd.join(secondRdd)