2017-03-29 11 views
2

Kafka를 사용하여 온 프레미스에서 Cloud (S3)로 데이터를 스트리밍하려고합니다. 내가 소스 기계와 구름 위에서도 카프카를 intsall해야 할 필요가있다. 그러나 나는 구름에 그것을 intsall 싶지 않아요. kafka와 연결하여 온 프레미스에서 클라우드로 데이터를 스트리밍 할 수있는 S3 커넥터가 필요합니다.Kafka와 연결하여 사내에서 클라우드로 데이터를 스트리밍하는 S3 커넥터

답변

1

데이터가 Avro 또는 Json 형식 (또는 해당 형식으로 변환 가능) 인 경우 Kafka Connect 용 S3 커넥터를 사용할 수 있습니다. Confluent's docs on that

Kafka를 통해 실제 (더 큰) 파일을 이동하려는 경우 Kafka는 파일 전송이 아닌 작은 메시지 용으로 설계되었습니다.

+0

Avro 또는 Jason에없는 로그 파일을 원합니다. Confluent 외에도 다른 커넥터를 제안 해주십시오. 미리 감사드립니다. –

+0

https://www.confluent.io/product/connectors/에 나열된 행운을 시험해 볼 수 있습니다. – ftr