apache-kafka-streams

0열

1답변

카프카 스트림을 사용하여 싱크 주제에 데이터를 쓰고 있습니다. 싱크대에 데이터가 있는지 확인하기 위해 avro-consumer 명령 줄을 실행 중입니다. bin/kafka-avro-console-consumer --topic sink.output.topic --from-beginning - 새로운 소비자 - 부트 스트랩 서버 kafka 스트림 응용 프로그램

0열

1답변

카프카 스트림 : 여러 주제 파티션을위한 다중 스트림 응용 프로그램

동일한 application.id와 싱크 주제가 서로 다른 2 개의 파티션과 2 개의 카프카 스트림 응용 프로그램이있는 입력 항목이 있습니다. 1) 두 응용 프로그램을 함께 시작하고 데이터 수신을 시작하지만 응용 프로그램 중 하나를 종료하면 다른 응용 프로그램이 계속 중단됩니다. | DEBUG [카프카 - 조정자 심박 스레드 [17,297 : 26 2017

0열

1답변

KTable 데이터를 외부 DB에 넣기

데이터를 KTable에 저장하고 KTable의 데이터를 Oracle 11g DB에 저장해야하는 시나리오가 있습니다. 가능한 방법은 무엇입니까?

0열

1답변

Kafka Streams - 상태 저장소 삭제/지우기

내 kafka-streams DSL의 끝에 Transformer 사용자 지정이 있으며 영구 변경 로그 KeyValueStore이 바인딩되어 있습니다. 몇 주 전부터 상점에 너무 많은 데이터를 넣었습니다. 이제는 응용 프로그램을로드 할 때마다 너무 많은 RAM을 먹습니다. 그러나 응용 프로그램 자체는 단지 프로토 타입이므로 저장소를 완전히 지우는 데는 신경

0열

1답변

Kafka의 KTable을 사용하여 일대 다 많은 외부 조인

contact.id로 키를 사용하여 주제 1에 게시 된 테이블 연락처가 있습니다. 또한 서브 테이블은 topicable # 2에 key를 subtable.id로 게시합니다. 이제 조인을해야합니다. select * from contact c outer join subtable st on c.id = st.id; 표 사이에 1..n 관계가 있습니다. 여기에

0열

2답변

카프카에서 카산드라 및 증분 카운터로 스트리밍하는 방법

아파치 액세스 로그 파일이 있고 각 페이지의 액세스 횟수 (총/일일/시간당)를 카산드라 테이블에 저장하고 싶습니다. kafka 연결을 사용하여 로그 파일에서 카프카 항목으로 스트리밍하려고하면됩니다. 카산드라의 메트릭 카운터를 늘리려면 다시 카프카 커넥트를 사용할 수 있습니까? 그렇지 않으면 여기에 다른 도구를 사용해야합니다. 카프카 스트림, 스파크, 플린

2열

1답변

Kafka Streams 변경 로그 항목이있는 KTable 저장소와 로그가 압축 된 소스 항목

입력 항목에 KTable을 만들고 두 개의 Kafka Stream 응용 프로그램 인스턴스에 KStream에 참여하고 있습니다. KTable의 입력 항목은 이미 로그 압축 된 항목입니다. 따라서 내 응용 프로그램 인스턴스 중 하나가 다운되면 다른 인스턴스 상태 저장소가 입력 로그 압축 된 항목에서 읽음으로써 전체 상태로 새로 고쳐진 것처럼 보입니다. 내 KT

0열

2답변

Kafka Streams - 시간 창에 자주 나타나는 메시지 필터링

제공된 키 (호핑) 시간대에 T의 임계 값 N보다 자주 나타나는 키를 필터링하려고합니다. 예를 들어 다음 스트림 : 위에서 불가능한 경우 #time, key 0, A 1, B 2, A 3, C 4, D 5, A 6, B 7, C 8, C 9, D 10, A 11, D 12, D 13, D 14, D 15, D 및 N=2 및

0열

1답변

KafkaStreams의 로컬 상태 저장소

나는 아주 간단한 KafkaStreams 앱을 가지고 있습니다. input topic --> extract smth., update aggregate in the local state -> output topic 처음에는 입력 항목에 1 개의 파티션 만 있고 모든 것이 원활하게 작동했습니다. 그러나 입력 한 항목의 파티션 수가 증가한 후에는 응용 프로그

0열

1답변

스트림을 피벗/언 피어 팅하는 방법

Kafka 스트림으로 스트림을 PIVOT/UNPIVOT (분해, 전송) 할 수있는 방법이 있습니까? 내가 machineId ts VarName VarValue m1 2017-10-01 00:00:00 var1 1.0 m1 2017-10-01 00:00:00 var2 2.0 m2 2017-10-01 00:00:00 var1 3.0 m2 2017-10-