사육사 또는 독립 기계에서 사육사를 운영해야합니까?

Question

우리는 등 SOLR, 스톰, 카프카, HBase와 같은 사육사를 사용하는 소프트웨어의 여러 종류가

사육사 클러스터 (1 개 이상의 노드)를 설치하는 2 개 가지 옵션이 있습니다 :

1. 포함 된 클러스터은 : 다른 소프트웨어가 설치된 것과 동일한 컴퓨터에 ZK를 설치하십시오.
2. 외부 클러스터 : 사육자를 돌볼 수있는 매우 강력하지만 헌신적 인 사육 기계가 있습니다 (동일한 지역, 클라우드 및 데이터 센터에 있음). 에.

클러스터 안정성에 더 좋은 옵션은 무엇입니까? 두 경우 모두 우리는 항상 한 대의 컴퓨터가 아닌 사육사 클러스터에 홀수 개의 컴퓨터를 가지고 있습니다.

임베디드 옵션은 설치가 쉽고 컴퓨터를 더 잘 사용하지만 외부 옵션은 단일 시스템의 손실은 단 하나의 구성 요소의 손실을 의미하므로 더 안정적으로 보입니다 (임베디드 사육사의 시스템 손실 사육사 노드뿐만 아니라 Solr, Storm, Kafka의 작업자 노드의 손실을 의미합니다.

안정성을 최대화하기 위해 프로덕션 환경에서 동물원을 운영하는 업계 표준은 무엇입니까?

Answer 1

프로덕션 환경에서 ZooKeeper를 사용하지 않는 것이 좋습니다.

외부 사육사가있는 것이 좋습니다사육사 노드가 하나있는 경우 문제가 생길 수 있습니다.

사육사 노드의 클러스터 설정이 있고 사육사 노드가 다운 된 경우 나머지 주 노드가 계속 실행됩니다.

More details

Answer 2

사육사는 카프카 클러스터에 대한 중요한 구성 요소입니다하지만, 고객의 새로운 세대의 이행 이후 ZK의 부하가 크게 감소되었으며 이제 클러스터 자체에 의해 사용된다. 로드가 대개 높지는 않지만 대기 시간에 민감 할 수 있으므로 전용 시스템에서 사육사 앙상블을 실행하고 ZK 트랜잭션 로그에 전용 디스크를 사용하여 IO 경합을 방지하는 것이 가장 좋습니다.

더 큰 Zookeeper 앙상블을 사용하면 탄력성을 얻을 수 있지만 이로 인해 클러스터 내 통신이 증가하고 성능이 저하 될 수 있습니다. 사육사는 단순 다수결 투표로 작동하기 때문에 이상적인 수의 노드가 필요합니다. 3 노드 앙상블은 영향없이 1 개의 노드를 잃어 버리게하고, 5 개의 노드 앙상블은 2 개의 노드를 잃는 것을 허용합니다.

실제로 카프카 노드와 동일한 시스템에 설치된 사육사와 함께 작고 낮은 작업 부하 클러스터가 잘 작동하는 것을 보았습니다. 그러나 안정성을 극대화하고 트래픽을 증가 시키려면 별도의 클러스터를 사용하는 것이 좋습니다.

Answer 3

SolrCloud의 경우, 사육사는 외부에 있으며 적어도 3 명이 있어야합니다.

이것은 Solr과 같은 서버에서 실행할 수 없다는 것을 의미하지 않지만 이 아니어야합니다.은 Solr 자체가 시작할 수있는 자체 보관 인 서버를 사용해야합니다. 여기

는 사육사에 접촉 성능과 SolrCloud에 관한 몇 가지 정보입니다 : 동일한 시스템에서 실행 때 사육사 데이터베이스에 대해 완전히 별도의 시스템, 또는 별도의 디스크가 필요 여부

https://wiki.apache.org/solr/SolrPerformanceProblems#SolrCloud

Solr은 VERY이며 SolrCloud 설치 특성에 따라 다릅니다. 인덱스가 매우 작고 쿼리로드가 낮 으면 동일한 컴퓨터와 심지어 같은 디스크에 사육사를 둘 수 있습니다.

내가 언급 한 다른 서비스의 경우 권장 사항이 무엇인지 전혀 알지 못합니다.