apache-kafka-streams

2열

1답변

kafka new api 0.10은 주제별 스트림 및 소비자 객체 목록을 제공하지 않습니다.

이전에 0.8 API를 사용했습니다. 주제 목록을 전달하면 스트림 맵 (주제 당 항목 하나)이 반환됩니다. 이를 통해 별도의 스레드를 생성하고 각 주제의 스트림을 스레드에 할당 할 수 있습니다. 각 주제에 너무 많은 데이터가 있으면 별도의 스레드를 생성하면 멀티 태스킹에 도움이됩니다. //0.8 code sample Map<String, List<Kafk

5열

1답변

스테이트리스 프로세서를 등록하는 방법 (StateStore가 필요한 것 같습니다)?

토폴로지를 구축 중이며 KStream.process()을 사용하여 일부 중간 값을 데이터베이스에 쓰고 싶습니다. 이 단계는 데이터의 성격을 바꾸지 않으며 완전히 무국적입니다. Processor을 추가하려면 을 만들고이 인스턴스를 상태 저장소 이름과 함께 KStream.process() 함수에 전달해야합니다. 이것은 내가 이해하지 못하는 것입니다. State

0열

1답변

실시간 규칙 편집 및 KafkaStreams

"비즈니스"사용자가 입력 스트림에서 처리 된 데이터에 대한 규칙을 만들고 편집 할 수 있도록 허용해야한다는 요구 사항이 있습니다. 규칙은 비즈니스 친화적이어야하며 개발주기가 없어야합니다. 여기에 내가 생각하고 무엇의 예입니다 : 날씨 스테이션과 연결된 차량 데이터 스트리밍으로 "if weatherStation.id == 100 and weatherStati

3열

1답변

Kafka 스트림의 값으로 HashMap을 사용하여 상태 저장소를 만드는 방법은 무엇입니까?

문자열 키 HashMap을 값으로 사용하여 상태 저장소를 만들어야합니다. 나는 아래 두 가지 방법을 시도했다. // First method StateStoreSupplier avgStoreNew = Stores.create("AvgsNew") .withKeys(Serdes.String()) .withValues(HashMap.cl

1열

1답변

Kafka KStream 응용 프로그램 - 임시 파일 정리

내 KStream 기반 응용 프로그램이 많은 gB의 파일 (.sst, Log.old. < stamp> 등)을 쌓아 놓은 것 같습니다. 이것들은 독자적으로 정리되거나 내가 눈을 떼지 않아도 될까요? 일부 param 그들을 추락하도록 설정해야합니까?

5열

1답변

HDFS에서 조회 데이터가있는 Kafka 스트림

Kafka Streams (v0.10.0.1)로 응용 프로그램을 작성 중이며 조회 데이터로 처리중인 레코드를 풍부하게 만들려고합니다. 이 데이터 (타임 스탬프 화 된 파일)는 HDFS 디렉토리에 매일 (2-3 회) 기록됩니다. Kafka Streams 애플리케이션에서 이것을로드하고 실제 KStream에 참여하려면 어떻게해야합니까? 새 파일이 도착하면 HDF

5열

1답변

카프카 스트림 인쇄 콘솔에 입력 하시겠습니까?

저는 작업중인 Java 응용 프로그램에 대한 Kafka 설명서를 많이 검토했습니다. 나는 Java 8에서 소개 된 lambda 문법에 익숙해 지려고 노력했지만, 그 배경에 대해서는 약간 개략적인데, 내가 아직 사용하고있는 것임을 확신하지 못한다. 나는 Kafka/Zookeeper Service를 아무런 문제없이 운영해 왔으며, 내가하고 싶은 것은 작은 예제

1열

1답변

Bluemix Kafka 스트림

최신 버전의 IBM Message Bus는 Kafka Streams (여기에 설명 됨 .. http://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple/)을 지원합니까? 이 작업을 수행하는 방법에 대한 예제/샘플은 무엇입니까? 2 - 예, 이것은 내가 (베타 서비스를

3열

2답변

카프카 다중 파티션 주문

카프카에서 여러 개의 파티션을 주문할 수없고 단일 파티션의 그룹 내 단일 소비자에 대해서만 파티션 순서가 보장된다는 사실을 알고 있습니다. 그러나 Kafka Streams 0.10을 사용하면 이것을 달성 할 수 있습니까? 타임 스탬프 기능을 사용하여 각 파티션의 각 메시지가 소비자 측에서 주문을 유지할 경우 Kafka Streams 0.10으로 말하도록 허

3열

1답변

Kafka Streams "map-side"사전 검색처럼 합치다

이 질문은 후속 작업으로 Kafka Streams with lookup data on HDFS입니다. 카파 (Kafka) 스트림에 작은 사전 데이터를 결합해야합니다. AFAIK, Kafka Stream 인스턴스는 항상 특정 주제의 파티션에서 작동합니다. 조회를 원할 경우 관련 레코드를 함께 가져 오기 위해 두 스트림을 조인 키로 다시 분할해야했습니다. 여러