개별 dataproc 스파크 로그는 어디에 있습니까?

Question

dataproc 스파크 작업 로그는 어디에 있습니까? "로깅"섹션에서 드라이버의 로그가 있다는 것을 알고 있지만 실행 노드는 무엇입니까? 또한 Spark이 실행하는 세부 단계는 어디에서 기록됩니까 (응용 프로그램 마스터에서 볼 수 있습니까?) 멈추고 스파크가 멈추는 것처럼 보이는 스크립트를 디버깅하려고합니다.

Answer 1

작업 로그는 /tmp 아래의 각 작업자 노드에 저장됩니다.

원사 로그 응집을 통해 한 곳에서 수집 할 수 있습니다. (yarn: 접두사 --properties를 통해) 클러스터 작성시 이러한 속성을 설정합니다

• yarn.log-aggregation-enable=true
• yarn.nodemanager.remote-app-log-dir=gs://${LOG_BUCKET}/logs
• yarn.log-aggregation.retain-seconds=-1 여기

로그에 대해 설명 기사의 경영 :

https://hortonworks.com/blog/simplifying-user-logs-management-and-access-in-yarn/