저는 스파크/상어를 처음 사용하고 스파크 직원 3 명과 함께 클러스터를 가동 시켰습니다. 나는 같은 서버 3 대에 Shark를 설치하기 시작했으나 필요하지 않고 오직 Shark 서버 하나만 필요하다는 결론에 도달했습니다. 문서에서 이걸 말하는 것은 아무것도 없습니다. Spark/Hive가 심하게 들기 때문에 하나의 상어 서버 만 필요합니까, 아니면 Spark가있는 모든 서버에 배포해야합니까?스파크와 관련하여 얼마나 많은 상어 서버가 필요합니까?
상어는 스파크 응용 프로그램입니다. 그것은 WordCount 또는 Spark Shell과 같습니다. 쿼리를 보낼 클라이언트 컴퓨터에이 스크립트가 있어야합니다.
작업자 기계에 Shark JARS가 없으면 스파크 컨텍스트에 부착해야합니다.
상어 서버는 유닉스 시스템에서 '화면'처럼 약간 작동합니다. 이 경우 Shark 서버는 Spark의 응용 프로그램입니다. Shark 콘솔을 사용하여 Shark 서버에 연결하고 쿼리를 보내면 쿼리가 Shark 서버에 의해 실행됩니다.
상어가 ThriftServer를 의미한다고 가정하면 (스파크) 클러스터 당 하나의 상어 만 필요합니다.
이것은 ThriftServer가 Spark 코어 자체로 가져 왔기 때문에 Shark가 퇴역 한 Spark 1.0.1에도 적용됩니다.
당신의 질문은 정말로 명확하지 않습니다. 당신이 상어와 정확히하고 싶은 것이 있습니까? 세 개가 아닌 한 대의 서버에만 설치하면 약 1/3의 전력이 소비됩니다. – gprivitera