안녕 천재들 (나는 감히 Minkus라고?) 약간의 배경. 나는 현재 데이터웨어 하우스가없는 소규모의 비 기술 회사에서 일하고 있습니다. 모든 데이터는 여러 소스에서 수동으로 가져옵니다 (페이스 북이나 트위터 같은 다른 플랫폼, 클라이언트 측 Excel 데이터). 그러면 서버 전체에서 Excel 스프레드 시트에 저장됩니다. 이 데이터를 통합하고 어딘가에 저
아교를 사용하여 Excel 및 기타 독점 형식을 섭취하거나 아교가 데이터 호수에서 이러한 데이터 형식을 사용하도록 s3 버킷을 크롤링 할 수 있도록 허용해야합니까? "Data Lake Foundation on the AWS Cloud"문서를 읽었으며 호수에 데이터를 가져 오는 것에 대해 머리를 쓰다듬어 버렸습니다. 필자는 시스템에 엑셀 및 액세스 파일로 저
Dynamo/ElasticSearch를 사용하여 AWS 데이터 호수 작업 (메타 데이터/카탈로그)을 지원하는 방법을 이해하는 데 어려움을 겪고 있습니다. Dynamo에서 소스에 대한 zip 아카이브의 개별 S3 위치와 ES에서 검색하려는 추가 메타 데이터/속성을 로깅하는 것처럼 보입니다. 그것이 맞다면 어떻게 그 두 가지를 함께 사용하여 지원할 수 있을까요