confluent

1열

1답변

Kafka Connect의 HDFS 커넥터를 구성하여 여러 개의 개별 주제를 하나의 파일로 작성/결합 할 수 있습니까? 주제에는 동일한 avro 스키마가있는 메시지가 포함되어 있으며 KafkaConnect가 해당 카프카 항목과 HDFS 간의 중개자 역할을하도록합니다. 최악의 시나리오에서는 주제 내용을 HDFS에 기록한 후 결합 할 수 있지만 HDFS 커넥터

5열

1답변

HDFS에서 조회 데이터가있는 Kafka 스트림

Kafka Streams (v0.10.0.1)로 응용 프로그램을 작성 중이며 조회 데이터로 처리중인 레코드를 풍부하게 만들려고합니다. 이 데이터 (타임 스탬프 화 된 파일)는 HDFS 디렉토리에 매일 (2-3 회) 기록됩니다. Kafka Streams 애플리케이션에서 이것을로드하고 실제 KStream에 참여하려면 어떻게해야합니까? 새 파일이 도착하면 HDF

0열

1답변

org.apache.spark.SparkException : Set ([test-topic, 0])에 대한 리더 오프셋을 찾을 수 없습니다.

Confluent 플랫폼을 사용하고 this code을 사용하여 REST 엔드 포인트에 고급 Kafka 요청을 시도합니다. 보기. 내가 코드를 실행하려고하면 val kafkaParams = Map( "bootstrap.servers" -> "localhost:9092", "schema.registry.url" -> "http://localh

0열

2답변

카프카 제작자 인터셉터

제작자가 카프카 주제에 게시 한 메시지의 유효성 검사를 위해 인터셉터를 추가하려고합니다. 카프카 (Kafka) 주제에서 수행되는 스키마 유효성 검사 외에 몇 가지 검증 작업을 수행해야합니다. 따라야 할 단계는 다음과 같습니다. ProducerInterceptor Interface를 확장 한 Java 클래스를 작성했습니다. 클래스를 컴파일하고 클래스 경로에

1열

1답변

Windows에서 사육사를 시작하는 동안 "log4j.properties가 (가) 예기치 않게 발생했습니다"

Confluent에서 kafka 스트림을 다운로드하고 있습니다 (http://www.confluent.io/product/kafka-streams/). Windows에서 Zookeeper 및 Kafka를 실행하기위한 지침을 따르고 있습니다. \ 소프트웨어 \ 합류-3.0.1 \ 빈 \ 창 ../../ 등/카프카/log4j.properties : 나는 명령

0열

1답변

kafka - Java 시작 매개 변수를 설정하는 올바른 방법

Kafka 프로세스에 대한 다양한 힙, GC 등 Java 매개 변수 설정에 관해서는 충돌 생각이있는 것 같습니다. 한 그룹은 kafka-server-start bash는 파일 here 또 다른 그룹은 시스템 VAR을 설정하고 카프카 시작이 here를 데리러 수 있도록 말한다 편집 말한다 지류의 최신 지침에서 은 다음과 '권장 사항'표시 : -Xms6g -X

1열

1답변

카프카에서 avro 스키마를 한 번만 보내는 방법

스키마를 만들고 프로듀서가 kafka로 보내려면 다음 코드를 사용합니다 (실제로는 아니지만 가정합니다). public static final String USER_SCHEMA = "{" + "\"type\":\"record\"," + "\"name\":\"myrecord\"," + "\"fields\":[" + "

0열

1답변

커넥터에 ID/주제별 등록 스키마 가져 오기

소스 커넥터에 등록 된 스키마를 가져올 수 있습니까? 스키마 레지스트리에 등록 된 정적 스키마가 있고 그 스키마를 커넥터에서 가져 와서 SourceRecord에 전달해야합니다. CachedSchemaRegistryClient를 사용하여 스키마 ID를 사용하여 스키마를 가져 왔지만 Avro 스키마를 반환했습니다. 그래서 이것을 org.apache.kafka.

0열

1답변

Kafka Connector - Kafka 용 JMSSourceConnector 토픽

기본적으로 Confluent는 Kafka 주제에 대해이 JMSSourceConnector를 제공합니다. 아니면이 용도로 맞춤 커넥터를 작성해야합니까? 이 문서의 Confluent 페이지에 관련 문서가 없습니다.

8열

1답변

합류 플랫폼 대 아파치 카프카

카프카를 처음 사용합니다. 그리고 합류하는 플랫폼에 대해 궁금합니다. 무리한 플랫폼 사용자 스토리가 존재하지 않는 것 같습니다. 합류 플랫폼은 카프카보다 훨씬 더 가치가 있습니까? 누구든지 내가 좋아하는 것을 말할 수 있습니까? 나는 그 중 하나를 선택해야합니다.