apache-kafka

5열

1답변

카프카 로그에서 오프셋이 누락되었습니다 - 단순한 소비자가 처리 할 수 없습니다

3 노드 카프카 클러스터 설정이 있습니다. 카프카에서 메시지를 읽으려고 폭풍우를 사용하고 있습니다. 내 시스템의 각 주제에는 7 개의 파티션이 있습니다. 이제 이상한 문제에 직면하고 있습니다. 3 일 전까지 만해도 모든 것이 잘 작동했습니다. 그러나 이제 내 폭풍 토폴로지는 # 1과 # 4의 두 파티션에서 구체적으로 읽을 수 없습니다. 나는이 문제에 드릴

1열

3답변

소셜 미디어에서 스트림 데이터를 다운로드 할 수있는 기술이 있습니까?

나는 소셜 미디어 에서 hadoop으로 데이터를 스트리밍하기 위해 사용할 수있는 기술을 찾고 있습니다. 해당 기술을 검색하여 발견했습니다. Flume. 폭풍. 카프카. 어떤 도구가 가장 좋습니까? 그리고 왜? 다른 도구에 익숙한 사람 있습니까?

0열

1답변

kafka에서 메시지를 소비 할 때 예외

maven에서 만든 Java 프로젝트에서 기본 kafka (생산자 소비자) 예제를 만들려고합니다. this code를 실행 나는이 예외가 : Exception in thread "main" java.lang.UnsupportedClassVersionError: kafka/javaapi/producer/async/CallbackHandler : Unsuppo

9열

2답변

.index 파일이 kafka-log 디렉토리에 존재하는 이유는 무엇입니까?

방금 새로운 주제를 만들었으며 아직 메시지를 생성하지 않았습니다. "/ tmp/kafka-logs-1/topicname-0 /"디렉토리에 "00000000000000000000.index"라는 파일 이름이 만들어졌으며 그 파일의 크기가 실제로 큽니다. 바이너리 파일을 vi에서 열었을 때 그 내용은 "0000 0000 0000 0000 ..." 무슨 뜻입

4열

2답변

목표를 실행하지 못했습니다. org.codehaus.mojo : exec-maven-plugin : 1.2.1 - kafka 폭풍 통합

나는 kafka strom 통합 작업을하고 있습니다. 나는 실수로 붙어. <plugin> <groupId>org.codehaus.mojo</groupId> <artifactId>exec-maven-plugin</artifactId> <version>1.2.1</version> <executions> <execu

0열

1답변

Apache Kafka : Linux 환경에서 클러스터를 설정할 수 없습니다.

두 개의 다른 Linux 상자에서 kafka로 클러스터 환경을 설정하려고했지만 할 수 없습니다. 누군가 나를 도울 수 있습니까? 두 개의 Linux 상자의 경우 기본 zookeeper.properties 파일을 수정하지 않았습니다. 그러나 kafka 루트 디렉토리에있는 config 폴더의 server.properties를 변경했습니다. 2181, 서버 2

4열

1답변

kafka에서 hdfs로 쓰기 (cloudera cdk로)

카프카에게 메시지를 보내는 응용 프로그램 브라우저가있는 시스템을 설계하고 싶습니다. 소비자는 avro 형식으로 HDFS에 이벤트를 작성해야합니다. 어떻게 보이나요? 정확히 언제 메시지를 확인해 주시겠습니까? 정확히 어떻게 hdfs 파일에 추가 할 수 있습니까? 나는 cdk에 대해 읽었으며 좋은 방향으로 보이는 것 같습니다. 내가 할 수없는 것은 기록을 어떻

3열

1답변

Kafka long polling

kafka에서 대기 시간이 짧은 메시지 대기열을 구현하려고합니다. 사용자가 긴 폴링에 대해 읽었습니다. 그러나 실제로 긴 폴링을 사용하는 방법이나 사용하기 위해 설정해야하는 옵션에 대한 예는 없습니다. kafka java api를 사용하여 어떻게 긴 폴링을 가능하게합니까?

3열

1답변

Storm-kafka 스파우트가 천천히 소모됩니다

여기에 언급 된 kafka-storm 스파우트를 시도해 보았습니다. https://github.com/nathanmarz/storm-contrib/tree/master/storm-kafka 및 사용 된 구성은 아래와 같습니다. BrokerHosts brokerHosts = KafkaConfig.StaticHosts.fromHostString( I

2열

1답변

Storm과 Kafka를 통합하는 방법

나는 Storm에서 일했으며 입력 소스로 로컬 텍스트 파일을 사용하는 기본 프로그램을 개발했습니다. 하지만 이제는 외부 시스템에서 지속적으로 데이터를 스트리밍해야합니다. 이를 위해 카프카가 최선의 선택입니다. 문제는 내 스파웃이 카프카에서 스트리밍 데이터를받는 방법입니다. 또는 Storm과 Kafka를 통합하는 방법. 카프카에서 데이터를 처리 할 수 있