사용자 변환을 위해 Kafka 스트림 사용하기

저는 Apache Kafka를 사용하여 ETL 데이터 파이프 라인을 구현했습니다. 나는 Kafka Connect를 추출 및 적재에 사용했습니다.사용자 변환을 위해 Kafka 스트림 사용하기

Connect는 원본 데이터를 읽고 카프카 주제의 실제 데이터를 JSON 형식으로 작성합니다.

변환 단계에서 카프카 항목에서 JSON 데이터를 읽고 싶습니다. 그런 다음 일부 맞춤 비즈니스 로직을 기반으로 SQL 쿼리를 변환해야하고 출력 카프카 항목을 작성해야합니다.

지금부터는 주제에서 읽은 변환을 수행 한 다음 출력 항목에 작성하는 제작자 - 소비자 응용 프로그램을 작성했습니다.

Kafka 스트림 API를 사용하여 동일한 결과를 얻을 수 있습니까? 예일 경우 일부 샘플을 제공해주십시오.

2017-12-15 sujin

Robin이 언급했듯이 Kafka Streams API로 확실히 가능합니다. 여기에서 예제를 찾을 수 있습니다. https://github.com/confluentinc/kafka-streams-examples –

Kafka Streams 또는 KSQL을 확인하십시오. KSQL는 카프카 스트림 (Kafka Streams)을 기반으로 실행되며, 당신이 말하는 집합의 종류를 만드는 매우 간단한 방법을 제공합니다. 여기

는

SELECT PAGE_ID,COUNT(*) FROM PAGE_CLICKS WINDOW TUMBLING (SIZE 1 HOUR) GROUP BY PAGE_ID

참조 KSQL의 데이터 스트림의 집계를 수행의 예에서 더 : 당신은 실제로 단지 카프카의 주제 KSQL의 출력 스트림을 취할 수 https://www.confluent.io/blog/using-ksql-to-analyse-query-and-transform-data-in-kafka

그 Kafka Connect 예를 통해 Elasticsearch, Cassandra 등등.

2017-12-15 12:34:14

답변