pyspark : 중첩 된 키를 기반으로 테이블 조인

Question

아래 예제 스키마가있는 두 개의 테이블이 있습니다. 테이블 A의 키는 테이블 B의 목록에 중첩되어 있습니다. 테이블 A와 테이블 B를 조인하려면 테이블 A 키를 기반으로 테이블 C를 생성해야합니다. 테이블 A의 값은 테이블 C의 중첩 된 구조 여야합니다. 표 B의 keyAs 목록. pyspark를 사용하여 어떻게 할 수 있습니까? 감사!

표 A

root 
|-- item1: string (nullable = true) 
|-- item2: long (nullable = true) 
|-- keyA: string (nullable = true) 

표 B

root 
|-- item1: string (nullable = true) 
|-- item2: long (nullable = true) 
|-- keyB: string (nullable = true) 
|-- keyAs: array (nullable = true) 
| |-- element: string (containsNull = true) 

표 C이 같은 B.keyAs 먼저 폭발 할 필요가 가입하고 B에 대한

root 
|-- item1: string (nullable = true) 
|-- item2: long (nullable = true) 
|-- keyB: string (nullable = true) 
|-- keyAs: array (nullable = true) 
| |-- element: string (containsNull = true) 
|-- valueAs: array (nullable = true) 
| |-- element: struct (containsNull = true) 
| | |-- item1: string (nullable = true) 
| | |-- item2: long (nullable = true) 
| | |-- keyA: string (nullable = true) 

Answer 1

:

tableB.withColumn('keyA', explode('keyAs')).join(tableA, 'keyA') 

중첩 된 구조를 만들려면 this answer

을 참조하십시오.