Apache Spark. 스파크 클라이언트의 고 가용성

Question

스파크 애플리케이션의 클라이언트 측에 대한 고 가용성 사례를 가이드 또는 매뉴얼을 찾기 위해 고심하고 있습니다. ZooKeeper를 사용하여 Spark master HA에 대한 권장 사항을 찾을 수 있었지만 그 점이 다릅니다.

문제는 spark에 연결하는 응용 프로그램의 여러 인스턴스를 실행하는 경우 과도한 사용 가능한 클러스터 리소스를 모두 나누어야한다는 것입니다.

내가 찾는 안내서가 있습니까?

Answer 1

마스터 설정에 따라 다릅니다. 사용중인 실 클라이언트의 고 가용성이 무료이거나 일부 무료입니다. 실 클라이언트 또는 로컬 모드에서 실행중인 경우 해당 컴퓨터가 거의 종료됩니다. 이제는 실제로 당신의 노력에 귀결됩니다. hadoop 데이터 노드와 별도로 컴퓨팅 리소스를 원한다면 mesos 클러스터를 살펴볼 것입니다. 원사 자원을 잠그지 않고 임시 작업/장기 실행 작업을 수행하는 좋은 방법입니다.

데이터 원본은 무엇이며 어떤 작업을 수행하려고합니까?