스파크 로그 통합

Question

내 스파크 작업에 대한 통합 뷰를 얻고 싶습니다.

저는 RDD를 생성하는 시스템에서 log4j를 사용하고 있습니다. 배포되는 다양한 작업도 log4j를 사용하고 있습니다. 그러면 로컬 로그 파일로 끝난 다음 작업이 분산 된 각 노드에 파일을 로깅합니다.

이러한 모든 로그를 함께 가져올 수있는 방법이 내장되어 있습니까? 서버 컴퓨터와 각 노드를 모두보아야하는 것은 고통 스럽습니다.

나는 조금 주위 검토 한 결과, 가능한 두 가지 옵션을 것 같다 : JobLogger 같은

1. 사용 무언가 (불꽃 리스너를 사용하여).

분산 로그를 다루는 모든 사람의 경험은 무엇입니까 수로 같은 소켓 펜더, 또는 무언가를 사용하십니까?

Answer 1

정말로 이것을 원하면 일부 공유 디렉토리에 로그를 넣으려고해도 좋지만 좋은 해결책은 아닌 것 같습니다. 나는 왜 당신이 그런 기능을 필요로하는지 모르겠다 - 다른 executor로부터의 혼합 된 로그는 병렬로 그리고 다른 어플리케이션으로부터조차도 당신의 로그를 지저분하게 만들 수있다.