apache-kafka-streams

0열

1답변

카프카 스트림을 사용하여 시계열 데이터를 처리하고 있습니다. 하나의 사용 사례는 각 센서에 대한 시간 단위로 데이터를 집계하는 것입니다 (센서 ID는 항목 test의 메시지 키입니다). 키 (센서 ID)별로 그룹화 한 파이프 라인을 작성한 다음 매 시간마다 판독 값을 계산합니다. test 항목 (동일한 센서 ID 및 타임 스탬프)에 몇 가지 중복 메시지가있

0열

1답변

카프카 스트림에서 스트림 DSL을 사용하여 스트림/테이블 타임 스탬프 추출기 지정

카프카 스트림을 사용하여 두 가지 주제에 참여하고 싶습니다. 두 가지 주제는 서로 다른 형식의 데이터를 가지고 있으므로 다른 타임 스탬프 추출기를 사용하고 싶습니다. 이 기능 (KAFKA-4144)에 대한 병합 된 pullrequest가 있었지만 프로세서 API에 대해서는 only find it입니다. Stream API에이 기능이 있습니까?

3열

2답변

한 카프카 클러스터에서 다른 카프카 클러스터로 메시지 스트리밍

현재 한 카프카 클러스터의 토픽에서 다른 토픽으로 메시지를 쉽게 스트리밍하려고합니다 (원격 -> 로컬 클러스터). 아이디어는 Kafka-Streams를 즉시 사용하여 로컬 클러스터의 실제 메시지를 복제 할 필요가 없지만 Kafka-Streams 처리의 "결과"만 Kafka-Topics에 가져올 수 있습니다. WordCount 데모가 다른 PC의 Kafka-

0열

1답변

내 Kafka 스트림 응용 프로그램에서 사용자 정의 파티션 그루퍼를 참조하는 방법은 무엇입니까?

사용자 지정 그룹화 파티션 ID 대신 항목 이름별로 작업. 내 카프카 스트림 응용 프로그램에서 내 사용자 정의 파티션 그루퍼 클래스를 참조하는 방법은 무엇입니까? 감사

1열

1답변

사용자 변환을 위해 Kafka 스트림 사용하기

저는 Apache Kafka를 사용하여 ETL 데이터 파이프 라인을 구현했습니다. 나는 Kafka Connect를 추출 및 적재에 사용했습니다. Connect는 원본 데이터를 읽고 카프카 주제의 실제 데이터를 JSON 형식으로 작성합니다. 변환 단계에서 카프카 항목에서 JSON 데이터를 읽고 싶습니다. 그런 다음 일부 맞춤 비즈니스 로직을 기반으로 SQL

0열

1답변

JoinWindows 기간이 스트림 중 하나의 객체에 저장된 2 개의 Kafka KStream을 결합 할 수 있습니까?</li> </ol> <p>사용자 DSL의 API 중 하나 또는 프로세스 API에 그것이 가능 (시간을 시작으로, 종료 시간) (타임 스탬프)</li> <li>번호</p> <ol> <li>시간 창 :

하자 내가 2 개 스트림이 있다고 출력에 TimeWindow에 지정된 시간 범위 내에있는 숫자의 합계를 포함하는 TimeWindow 객체가 포함되도록 스트림을 조인할까요? 구체적으로 말해서 기간 저장소의 위치는 XXX입니다. win.getDuration() 여기서 은이 ValueJoiner에서 참조되는 것입니다. timeWindow.join( nu

0열

1답변

카프카 토폴로지의 소비자 오프셋을 어떻게 변경할 수 있습니까?

요즘 저는 카프카 스트림을 사용하여 메시지를 처리하는 프로젝트를 진행하고 있습니다. 우리의 메시지는 두 개의 식별자로 구성되며, 하나는 사용자의 식별자이고 다른 하나는 사용자가 속한 메시지리스트의 식별자입니다. 응용 프로그램의 이야기는 클라이언트가 내 응용 프로그램을 통해 사용자 목록에 푸시 메시지를 보내려한다는 것입니다. 따라서 클라이언트는 사용자에게 푸

1열

1답변

응용 프로그램의 상태 저장소 지우기

카프카 스트림 응용 프로그램 내에서 특정 인스턴스의 상태 저장소를 지우고 싶습니다. 예를 들어 상태의 목록 상위 5 개의 최대 값을 유지하는 경우 시간별로 지우고 싶습니다. 그럴 수있는 방법이 있습니까? 응용 프로그램을 중지하지 않고 있습니까?

1열

1답변

카프카에서 최신 값을 얻으십시오

카프카 주제는 A입니다. 주제 의 데이터 형식은 다음과 같습니다이 { id : 1, name:stackoverflow, created_at:2017-09-28 22:30:00.000} { id : 2, name:confluent, created_at:2017-09-28 22:00:00.000} { id : 3, name:kafka, created_at:

1열

1답변

KafkaStream createTopic이 Kafka 서버의 auto.create.topics.enable 설정을 준수하지 않음

우리는 최근 새로운 주제로 인해 오염 된 생산 카프카 클러스터를 가지고 있습니다. auto.create.topics.enable=false delete.topic.enable=false 가 조사를, 나는이 주제는 KafkaStream의 createTopic 방법을 사용하는 클라이언트 팀에 의해 생성 된 것을 발견 : 카프카 클러스터는 다음과 같은 설정