AWS Data Lake Dynamo 대 ElasticSearch

Question

Dynamo/ElasticSearch를 사용하여 AWS 데이터 호수 작업 (메타 데이터/카탈로그)을 지원하는 방법을 이해하는 데 어려움을 겪고 있습니다. Dynamo에서 소스에 대한 zip 아카이브의 개별 S3 위치와 ES에서 검색하려는 추가 메타 데이터/속성을 로깅하는 것처럼 보입니다. 그것이 맞다면 어떻게 그 두 가지를 함께 사용하여 지원할 수 있을까요? 두 가지를 적절하게 짝을 짓는 방법에 대한 자세한 정보를 찾으려고했지만 실패했습니다. 다른 사람들이 가진 정보/문서는 훌륭합니다. 좋은 기회 몇 가지 확실한 예제/문서를 간과하고 있습니다./

• 사용자가 메타 데이터를 검색 할 수있는 높은 수준의 일치 S3 버킷/파티션을 가리 것이다 ES 속성 :

  은 내가 상상하고하는 것은 다음과 같은 것입니다.

• 는 DynamoDB의의 검색은 ES 결과
• 검색 것 등 후 처리를 추출 할 수있는 많은 개별 개체/키는 대부분 결과
에서 키 (파티션/통)의 일부에 대하여 것

Answer 1

AWS 담당자에게이 기사를 보내주었습니다. 훌륭한 출발점이었습니다. AWS Data Lake. 이것은 이전에 나에게 불분명했던 구성 요소와 접근 방식의 사용자에 대한 몇 가지 질문에 답하는 것처럼 보였다.

하이라이트 : 데이터 호수를 구현하기위한

• 청사진. S3/DynamoDB/ES를 결합하는 것이 일반적입니다.
• 구현에는 많은 변형이 있습니다. ES 만 사용하여 ES/DynamoDB를 RDS로 바꿉니다.
• RDS로 시작하여 프로세스를 연습 한 다음 DyanmoDB/ES로 이동합니다.