Dataproc pyspark 맵 내에서 GCP Translate API 호출

Question

파일의 각 행에 대해 pyspark에서 클라이언트 API 번역의 언어 감지 메소드를 호출하려고합니다.

지도 방법을 다음과 같이 만들었지 만 작업이 오류없이 고정 된 것처럼 보입니다. 번역 API에 대한 호출을 제거하면 잘 실행됩니다. pySpark지도 내에서 Google 클라이언트 API 메소드를 호출 할 수 있습니까?

매핑 방법은 번역을

데프 doTranslate (데이터)를 수행하는 :

translate_client = translate.Client() 

# Get the message information 
messageId = data[0] 
messageContent = data[6] 

detectedLang = translate_client.detect_language(messageContent) 

r = [] 
r.append(detectedLang) 
return r 

Answer 1

이 그것을 알아 냈어! 당신의 질문은 올바른 방향으로 나를 이끌었습니다. 감사!

밝혀졌습니다. 메시지 크기에 대한 기본 할당량을 초과했기 때문에 호출에서 예외가 발생했습니다. try/except 블록을 추가하여 이것이 문제라고 판단했습니다. 그런 다음 메시지 크기를 줄이면 (단지 할당량을 망치고 싶지는 않습니다.) 문제가 해결되었습니다.