오로라에서 Apache로 S3로 데이터를 마이그레이션하는 가장 쉬운 방법 ORC 또는 Apache Parquet

Question

아테나는 멋지게 보입니다.

우리 규모에서 사용하려면 더 저렴하고 더 효과적으로 만들 필요가 있습니다. 이는 ORC 또는 파르 케 형식으로 데이터를 저장한다는 의미입니다.

전체 오로라 데이터베이스를 S3로 마이그레이션하여 가장 쉬운 방법으로 S3 형식으로 변환하는 가장 쉬운 방법은 무엇입니까?

DMS 및 데이터 파이프 라인

Answer 1

단계를 변환 ... 거기 뺀 변환 단계 얻을 수가 여기에, 파이썬으로 수행 샘플입니다 수 있습니다 http://docs.aws.amazon.com/athena/latest/ug/partitions.html

: https://github.com/awslabs/aws-big-data-blog/tree/master/aws-blog-spark-parquet-conversion

것은이 문서를 참조하십시오

나는 처음에는 s3에서 데이터를 생성하고 위의 python을 사용하기 위해 DMS를 시도 할 것이다.