kafka-consumer-api

0열

1답변

카프카 항목 X와 Y를 각각 2 개의 파티션과 1 개의 복제본으로 생성했습니다. 위의 kafka 컨테이너에 연결된 kafka-client와 정확히 동일한 버전의 Java 프로세스 (maven 모듈)가 9092 및 zookeeper에서 실행됩니다. JVM이 모두 kafka에 성공적으로 연결되어 있고 두 항목 모두 항목이 있는지 여부를 확인할 수 있습니다. 그

0열

2답변

SimpleConsumer는 오는 카프카 버전에서 감가 상각됩니까? 수동 오프셋 제어를 위해 높은 수준의 소비자를 사용하는 것이 좋을까요?

최신 버전의 kafka 0.10 및 0.11에서 SimpleConsumer Support를 찾을 수 없습니다. 아래의 사용 사례에 높은 수준의 소비자를 사용하는 것이 좋습니다. 사용 사례 : 각 항목에 대한 오프셋을 수동으로 제어하고 외부 소스에 저장하고 싶습니다. 내가 설문 조사를 수행 할 때 1) 내가 메시지를 얻을 수 있어요, ,하지만 난 읽는 방법에

0열

1답변

승인 후 카프카 소비자 복구 .ACKnowledge(); 호출되지 않았다

나는 AcknowledgingMessageListener를 구현하는 간단한 Kafka 소비자를 구현했다. 승인이 있습니다 .ACKnowledge(); 및 onMessage 메서드 및 모든 때 잘 때 또는 그냥 복구 할 수있는 예외가 호출 될 때마다 호출됩니다. 이 경우에는 모든 것이 작동합니다. 하지만 상황이 잘못 될 수 있으며 오류 (예 : catch하지

0열

1답변

CKAN에서 Kafka를 사용하는 방법

CKAN의 리소스를 Kafka consume-API에 연결할 수 있습니까? 실시간으로 Kafka에 게시 된 라이브 리소스를 CKAN API로 액세스하려고합니다.

1열

1답변

카프카 재조정. 중복 처리 문제

나는 내부적으로 X 개의 스레드를 시작하는 소비자 작업자 응용 프로그램을 보유하고 있으며 각 스레드는 KafkaCosnumer를 생성합니다. Cosnumers는 groupId과 같으며 같은 주제로 구독됩니다. 따라서 각 소비자는 파티션을 공평하게 공유합니다. 처리의 성격 상 나는 메시지를 잃어 버릴 수도없고 중복을 허용 할 수도 없다. 내가 실행중인 카프카

0열

2답변

카프카 자바 소비자가 이미 닫았습니다

저는 카프카를 사용하기 시작했습니다. 나는 소비자와 작은 문제에 직면하고있다. 나는 Java로 소비자를 작성했다. 이 예외가 발생합니다 - IllegalStateException이 소비자는 이미 닫혔습니다. 나는 다음 줄에 예외가 : ConsumerRecords<String,String> consumerRecords = consumer.poll(1000);

-1열

2답변

Kafka를 사용하여 파일을 전송하는 방법

내 프로세스는 많은 시간 동안 파일을 생성합니다. 로컬 디렉토리에서 HDFS의 일부 위치로 파일을 전송하고 싶습니다. NiFi를 사용하는 대신 Java에서 해당 흐름을 개발할 수 있습니까? . 그렇다면 Java에서 참조 코드를 제공하여 안내하십시오. 제발 도와주세요!

0열

1답변

카프카 - 비어있을 때까지 사용

KafkaConsumer의 모든 소비자 레코드를 가져올 때까지 계속하지 않는 것이 유스 케이스입니다. 이 유스 케이스에서는 파이프 라인에 아무것도 들어갈 수 없습니다. 절대적으로 긍정적으로 아무것도 가져 오지 않을 것이라고 확신하는 적절한 방법은 무엇입니까?

1열

1답변

는 카프카 주제

나는 카프카에 새로 온 사람과 프로토 타입에 작업하는 카프카에 독점 스트리밍 서비스를 연결하는 데에 보낸 마지막 메시지 얻기. 나는 우리의 사내 스트림 소비자가 연결할 때받은 마지막 메시지의 ID로 로그온 할 필요가 같은 주제에 보낸 마지막 메시지의 키를 얻기 위해 찾고 있어요. 는이 작업을 수행 할 KafkaProducer 또는 KafkaConsumer을

0열

1답변

Apache Nifi - Kafka에서 데이터를 읽을 파티션을 지정하는 방법 소비자

사용 사례 : Google은 골든 게이트 kafka 빅 데이터 어댑터를 다중 스키마로 구성했습니다. 각 스키마는 1 파티션에 매핑되고 카프카 파티셔너는 정의 된 매핑에 따라 메시지를 게시합니다. 스키마 2 = 2 .. 스키마 = n 이렇게하면 모든 스키마가 자체 파티션에서 분리되어 메시지가 전송됩니다. 문제 :가 이 시나리오를 감안할 때, 내가 카프카 주제