kafka-producer-api

0열

1답변

복제가 비활성화되어있을 때 소비자와 생산자가 장애로부터 복구하도록 Kafka를 구성하는 방법은 무엇입니까?

데이터 손실이 허용되는 경우가 있습니다 (30-50 % 손실 허용 가능). 비용을 줄이기 위해 Kafka를 복제 계수 1로 구성하여 소비자와 생산자가 사용 가능한 파티션을 소비하고 사용 가능한 파티션을 간단하게 생성하여 브로커 오류를 복구 할 수 있는지 여부를 알고 싶습니다. 가능하다면 설정해야 할 구성은 무엇입니까? 본질적으로 이런 방식으로 작동하는 다른

0열

1답변

단일 카프카 클러스터를 여러 개로 분할하는 일반적인 지침은 무엇입니까?

주제가 풍부한 구성과 결합되어 단일 카프카 클러스터 내에서 다양한 작업 부하를 격리 할 수 있습니다. 단일 카프카 클러스터를 여러 개로 분할할지 결정하는 데 사용할 수있는 엄지 손가락 규칙은 무엇입니까? 다중 데이터 센터 배포는 많은 시나리오에서 여러 카프카 클러스터를 필요로합니다. 다른 일반적인 시나리오 및 고려 사항은 무엇입니까?

2열

1답변

카프카 프로듀서 보내기 문자열이 작동하지 않습니다.

"이 프로그램이 실행 중입니다"라는 문자열을 카프카 항목으로 보내는 카프카 제작자를 만들려고합니다. 나는 왜 그것이 효과가 없는지 확신하지 못한다. 아래 코드는 다음과 같습니다. 나는 Cloudera 분포가 아니다. package kafka_test; import java.util.Properties; import org.apache.kafka.cl

1열

1답변

Apache Kafka Java 제작자 스칼라 소비자 누락 된 스트림

Apache Kafka를 사용하고 있습니다. 나는 제작자가 Java로 코딩되고 Consumer가 Scala로 코딩 된 war 파일을 만들었습니다. 제작자가 HTML 페이지에서 데이터를 가져 오는 중입니다. 제작자가 게시 한 대부분의 데이터가 소비자에서 발견된다는 것을 알 수 있지만 일부 데이터가 누락되었습니다. 여기 지금 생산자에 대한 내 코드 파일 1 p

1열

2답변

kafka 메시지에 대한 파일링 적용

최근에 Kafka를 사용하고 몇 가지 사용 사례에 대해 Kafka를 평가하기 시작했습니다. 메시지 내용을 기반으로 소비자 (가입자)에게 메시지를 필터링 할 수있는 기능을 제공하려는 경우 가장 좋은 방법은 무엇입니까? 등 시장 이름, 만든 날짜, 가격 등 세부 사항 "거래"라는 항목이 다른 거래를 가지고 생산자에 의해 노출되는 말 일부 소비자들은 특정 시장에

1열

1답변

Kafka Mirror Maker : 소비자 대 소비자 스레드 번호 및 생산자 번호

Mirror Maker의 카프카 병렬 처리 모델을 명확하게 지적하고 싶습니다. 나는 소비자 측에서 이해 한 내용을 들어 : 소비자 그룹은 소비자의 집합입니다. 그룹의 각 소비자는 하나 이상의 주제를 읽을 수 있습니다. 그룹의 CONSUMER는 다중 스트림을 가질 수 있습니다. 즉, 주제에서 읽은 스레드의 수와 모범 사례는 파티션에 대해 하나의 스레드를 갖는

1열

1답변

Spark Streaming - 제작자가 완료되면 어떻게 소비자에게 통보합니까?

notifyConsumer이 가능합니까? Producer이 모든 데이터를 Kafka topic으로 게시하면 되나요? 여러 파티션에서 동일한 데이터 (일부 고유 필드 포함)를 사용할 수있는 가능성이 있으므로 데이터를 그룹화하고 계산해야합니다. 이 경우 Sliding window을 사용하려고 생각했지만 제작자가 데이터를 게시했는지 여부는 아직 알 수 없습니다.

0열

1답변

Kafka EARLIEST 및 Kafka LATEST 오프셋 재설정은 얼마나 효율적입니까?

문제 나는이 시간 기반 이벤트가 재생을 위해 개시 오프셋 (offset) 찾기 위해 이진 검색을 구현하는 방법에 대한 생각입니다. 그렇게하기 위해서, 초기 오프셋을 찾기 위해 EARLIEST를 사용하고 최신 오프셋을 찾기 위해 가장 최근의 것을 사용하려고 생각했습니다. 그 후, 바이너리 검색을 구현하여 재생을 시작해야하는 오프셋을 찾을 수 있습니다. 전인

0열

1답변

아파치 카프카 프로듀서가 메시지를 보낼 때 TimeoutException을 던지고 있습니다.

메시지를 보낼 때 갑자기 TimeoutExceptions을 던지기 시작한 KafkaProducer이 있습니다. max.block.ms 속성을 60000ms로 설정하고 테스트 블록을 60s로 설정 했더라도 오류 메시지는 항상 200ms 미만으로 나타납니다. 실제로 디버그 모드에서 실행하고 waitOnMetadata 메서드를 수동으로 실행하면 60000ms 만

0열

1답변

Kafka Storm과 Java의 통합. kafka.api.OffsetRequest.DefaultClientId() Ljava/lang/String; 오류

나는 카프카와 폭풍을 처음 사용합니다. 나는 Kafka와 폭풍을 통합하는 자바 예제를 구현하려고 시도했다. 온라인에서 예제를 발견했습니다. Eclipse IDE에서 Java 프로그램을 실행하려고합니다. 나는 Maven을 사용하지 않는다. 나는 외부 항아리로 storm-kafka-0.10.0.jar, kafka-0.6.jar, scala-library-2.1