StreamSets Data Collector (SDC) 웹 도구를 사용하여 로컬 시스템에서 Kafka 제작자를 통해 Kafka로 데이터를 전송하는 파이프 라인을 만듭니다. 그러나 먼저 데이터를 저장하려는 주제를 수동으로 만들어야합니다. StreamSets을 통해 주제를 만들 수 있습니까?SDS (StreamSets Data Collector)를 통해 카프카 항목을 만들 수 있습니까?
기본적으로 Kafka는 주제를 자동 생성하도록 구성됩니다. num.partitions을 broker config으로 설정하면 토픽 당 파티션 수를 기본 값 1에서 변경할 수 있습니다.
파이프 라인에서 항목을 만들려면 pipeline start event에서 create a topic까지 shell executor을 트리거 할 수 있습니다.
스테이지 이벤트에서 항목을 만들 수 없다는 점에 유의하십시오. 데이터 이후의 실행은 대상으로 보내 지므로 파이프 라인이 데이터 보내기를 시작하기 전에 항목이 있어야합니다.
감사! 이로 인해 문제가 해결되었습니다. – prachi
어떻게 주제 이름, 파티션 구성을 계산 하시겠습니까? – metadaddy
실제로 StreamSets을 통해 항목을 만들 수 있습니다. 대상으로 Kafka Producer가있는 새 파이프 라인을 시작하면 StreamSet은 Kafka 서버에없는 경우 자동으로 새 항목을 만듭니다. 기본적으로 만든 항목에는 하나의 파티션 만 있습니다. StreamSets에서 구성을 지정할 수 있습니까? – prachi