confluent

0열

1답변

Kafka 대기열에서 일부 메시지를 소비했습니다. 이제 다시 소비하고 싶습니다. 처음부터 모든 데이터를 가져옵니다. 스칼라에서 오프셋을 재설정하거나 Kafka Rest Proxy을 사용하여 어떻게 재설정합니까? 나는 현재 "auto.offset.reset": "smallest"을 사용하고 있습니다 : curl -X POST -H "Content-Type:

0열

1답변

Confluent Platform Schema Registry에서 "oneOf"를 사용할 수 있습니까?

사용자 잔액이 변경된 유스 케이스가 있습니다. 모든 사용자 균형 이벤트를 1 개의 주제에 넣고 싶습니다. 그러나 추천 보너스, 승리 보너스, 인출, 예금과 같은 여러 이벤트로 인해 사용자 잔액이 변경됩니다. 이것은 다음과 같이 중첩 된 기록을 통해 구현 될 수있다 { "name": "userBalance", "type": "record", "field

0열

2답변

Kafka JsonConverter를 사용하여 JSON 형식의 HDFS 싱크를 연결하십시오.

JSON의 Kafka로 생성/사용합니다. 속성 아래 사용하여 JSON에서 HDFS에 저장 : key.converter=org.apache.kafka.connect.json.JsonConverter value.converter=org.apache.kafka.connect.json.JsonConverter key.converter.schemas.enable

0열

1답변

합치적인 스키마 등록으로 AVRO 스키마 등록

AVRO 스키마를 합류 스키마 등록 서비스에 등록 할 수 있습니까? GitHub의 https://github.com/confluentinc/schema-registry 모든 예에 대한 추가 정보 사항에 따라 은 이름없이 하나의 필드와 유형으로 JSON 스키마를 사용합니다. 다음 스키마를 저장소에 저장하려고하지만 다른 변형이 다른 오류가 발생합니다. curl

3열

1답변

KStream (Confluent Platform)에서 오프셋 값을 얻는 방법

나는 Kafka Streams로 PoC를 개발 중입니다. 이제 스트림 소비자에서 오프셋 값을 가져와 각 메시지에 대해 고유 한 키 (topic-offset)->hash을 생성해야합니다. 그 이유는 생산자가 syslog이고 ID 중 일부만이 ID를 가지고 있기 때문입니다. 재 처리의 경우 동일한 키를 재생성해야하기 때문에 소비자에 UUID를 생성 할 수 없습

0열

1답변

Kafka-Connect : 분산 모드에서 새 커넥터를 만들면 새 그룹이 생성됩니다.

현재 합류 3.0.1 플랫폼으로 작업 중입니다. 두 명의 다른 직원에게 2 개의 커넥터를 만들려고하지만 새로운 커넥터를 만들려고하면 새로운 그룹이 생성됩니다. Two connectors were created using below details: 1) POST http://devmetric.com:8083/connectors { "name"

0열

1답변

yum을 사용하여 aws linux에 confluent platform (kafka) 3.1.1을 설치하려고합니다. PYCURL ERROR 얻기 22 - "요청 된 URL이 404 오류가 반환되었습니다."

아마존 리눅스 (버전 2016.09)를 실행하는 EC2 인스턴스에 합류 플랫폼을 설치하려면 this wiki doc에 링크 된 지침을 따르고 있습니다. 이러한 내용 $ sudo rpm --import http://packages.confluent.io/rpm/3.1/archive.key 만든 /etc/yum.repos.d/confluent.repo :

1열

1답변

지도자가 죽을 때 사육자 집단 지도력을 바꾸는 것

아래에 docker-compose.yml 파일을 찾을 수 있습니다. 전제 조건 : 내가 (고정 표시기-compose.yml, 3 개 사육사)을 고정 표시기가-구성하여 클러스터로 3 개 사육사의 서버를 시작, 그럼 나는 4 일 (다른 docker-를 추가 compose.yml, 1 마리의 사육관)을 클러스터에 추가하십시오. 처음 3 명의 동물원 중 하나가 지

1열

2답변

여러 사용자를 대상으로 카프카 스트림 응용 프로그램 조정

이벤트를 kafka으로 푸시 한 다음 동일한 클러스터에서 Kafka Streams 애플리케이션을 실행하고 있습니다. Kafka Streams 응용 프로그램을 확장하는 유일한 방법은 노드를 추가하거나 Partitions을 늘려 kafka 클러스터 자체의 크기를 조정하는 것입니다. 이 경우 소비자가 클러스터를 중단하지 않도록하고 중요한 파이프 라인이 항상 "o

0열

1답변

분산 모드에서 kafka 연결을 실행하는 중 발생하는 문제

kafka를 분산 모드로 테스트하여 항목 레코드를 kafka에서 HDFS로 가져옵니다. 우리는 두 개의 상자가 있습니다. kafka 및 사육사 데몬이 실행중인 경우. 이 상자에는 kafka 인스턴스가 하나만 연결되어 있습니다. HDFS namenode가있는 또 다른 상자가 있습니다. 우리는 여기서 카프카의 또 다른 사례를 계속 지켜 왔습니다. 우리는 첫 번