카프카에 푸시 된 메시지를 깊은 저장소에 저장해야합니다. 우리는 Azure 클라우드 서비스를 사용하고 있으므로 Azure BLOB 저장소가 더 나은 옵션 일 수 있다고 가정합니다. 카프카 커넥트의 싱크 커넥터 API를 사용하여 Azure Blob에 데이터를 푸시합니다. Kafka 문서는 대부분 데이터를 내보내는 HDFS를 제안하지만,이 경우 Hadoop을 실행하는 Linux VM이 필요합니다. 비용이 많이 드는 것은 아닙니다. 제 질문은 Azure BLOB 저장소가 JSON 객체를 저장하고 사용자 정의 싱크 커넥터를 만드는 적절한 선택입니다.이 경우 합리적인 해결책입니까?Azure Blob 저장소 용 Kafka 커넥터
맞춤 싱크 커넥터가 작동합니다. Kafka Connect는 커넥터를 플러그인 할 수 있도록 설계되었습니다. 사실 커넥터 개발은 전적으로 연합되어 있습니다. Confluent의 JDBC 및 HDFS 커넥터는 처음 두 가지 유스 케이스의 인기로 인해 처음 구현되었지만 더 많은 것들이 있습니다 (우리는 알고있는 커넥터 목록을 유지합니다).
Azure blob 스토리지가 적절한, 당신은 JSON 개체를 언급합니다. 내가 생각하는 유일한 것은 개체의 크기와 Azure 저장소의 크기가 & 크기의 객체를 처리 할 것인가이다. 나는 Azure 저장소의 특성에 대해 확신하지 못한다. 그러나 많은 경우 다른 객체 저장 시스템을 사용하면 많은 객체에 대해 좋은 성능을 얻기 위해 많은 객체를 단일 BLOB로 집계해야 할 수 있습니다 (예 : 많은 JSON 객체를 지원하는 파일 형식이 필요할 수 있습니다).
맞춤 싱크의 경우 생각 해보세요' 괜찮아. 현재 Azure Blob 저장을위한 공식 싱크가 없습니다. 다른 솔루션을 원한다면 Apache Flume (Kafka 소스 및 Azure Sink)을 사용해보십시오. 다음 링크를 참조하십시오. https://blogs.msdn.microsoft.com/bigdatasupport/2014/03/18/using-apache- flume-with-hdinsight / – NangSaigon