IllegalArgumentException : u'requirement failed : Google DataProc의 스파크에서 유효하지 않은 초기 용량이

Question

현재 Google DataProc의 Spark 2.0.0에서 대형 데이터 세트 (30 개 mio 관찰, 13 개 변수)에서 ml 의사 결정 트리를 실행하려고합니다. 나는 실행하면 :

IllegalArgumentException: u'requirement failed: Invalid initial capacity'

내가 인터넷에서이 오류에 대한 많은 정보를 찾을 수 없습니다 :

labelIndexer = StringIndexer(inputCol="Target", outputCol="indexedLabel").fit(data) 

나는 다음과 같은 오류가 발생합니다. 문제가 무엇이고 어떻게 해결할 수 있는지 설명해주십시오.

Answer 1

오류는 입력 데이터 프레임 (데이터)이 정의되었지만 비어 있음으로 인한 것입니다.