1

로컬 시스템에 apache kafka를 실행 중이며 절대 실행 중입니다. 하지만 연기 테스트를하는 동안 내 응용 프로그램은 카프카 클러스터에 연결할 수 없습니다. 그것은 끝없이 다음과 같은 오류를 던지고 계속 :org.apache.kafka.clients.NetworkClient 부트 스트랩 브로커 bootstrap-servers-ip : 9092 disconnected

[2016-11-22T23:04:35,017][WARN ][org.apache.kafka.clients.NetworkClient] Bootstrap broker <host1>:9092 disconnected 
[2016-11-22T23:04:35,474][WARN ][org.apache.kafka.clients.NetworkClient] Bootstrap broker <host2>:9092 disconnected 
[2016-11-22T23:04:35,951][WARN ][org.apache.kafka.clients.NetworkClient] Bootstrap broker <host1>:9092 disconnected 
[2016-11-22T23:04:36,430][WARN ][org.apache.kafka.clients.NetworkClient] Bootstrap broker <host2>:9092 disconnected 

내가 연결하기 위해 아래의 소비자 설정을 사용하고 있습니다 : 어떤 내 배포 서버는 할 수 없습니다 때문에

propsMap.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "<host1>:9092,<host2>:9092); 
propsMap.put("zookeeper.connect", "<host1>:2181,<host2>:2181"); 
propsMap.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, false); 
propsMap.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "100"); 
propsMap.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "15000"); 
propsMap.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); 
propsMap.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class); 
propsMap.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest"); 
propsMap.put(ConsumerConfig.GROUP_ID_CONFIG, "test"); 

가 연기 서버에 네트워크 문제가 될 수 카프카 서버에 연결 하시겠습니까? 내 로컬 및 다른 2 개의 테스트 환경에서 올바르게 작동하기 때문입니다.

카프카 버전과 관련이 있습니까?

아니면이 경우 연결하기 위해 SSL과 같은 다른 설정을 추가해야합니까?

나는 카프카를 처음 접했고, 누군가가 올바른 방향으로 나를 가리킬 수 있다면 정말 도움이 될 것입니다!

+0

브로커에 보안이 설정되어 있습니까? –

+0

@ HansJespersen 네트워크 팀과 점검하겠습니다. – Sid

+0

0.10 또는 0.11 클라이언트가 0.9 또는 0.8 카프카 브로커에 연결할 수 없으므로 버전을 확인하십시오. –

답변

0

Kafka 0.9.x.x 클라이언트 (스프링 - 카프카를 사용하는 경우)를 사용하는 경우 zookeeper.connect 속성이 필요하지 않지만 문제가 발생하지 않아야합니다.

브로커가 다운되면 당신이 아무것도 유용이 있는지 확인하기 위해 서버 로그를 보면 제안 뭔가

WARN o.apache.kafka.clients.NetworkClient - Connection to node -1 could not be established. Broker may not be available. 

처럼, 당신이 얻을 것이다. 연결하려면 SSL/SASL/Kerberos 등이 필요한지 관리자와상의해야합니다.

+0

제안 해 주셔서 감사합니다. 방금 zookeeper.connect 속성을 넣어 문제를 해결할 수 있는지 확인합니다. 최신 버전에서는 필요하지 않습니다. 브로커 다운은 문제가되지 않습니다. 내 네트워크 운영 팀에 확인해야 할 것입니다. – Sid