AWS 데이터 파이프 라인 백업 RDS PSQL to S3

AWS DATA PIPLINE을 사용하여 PSQL에서 S3로 데이터를 전송하려고했지만 메모리 문제로 인해 내 활동이 실패했습니다. Java 힙 공간 오류가 발생했습니다.AWS 데이터 파이프 라인 백업 RDS PSQL to S3

psql 테이블 (25Gb)에서 S3으로 데이터를 전송할 수있는 여러 솔루션은 무엇입니까? 높은 메모리 머신을 실행할 수있는 유일한 옵션은 무엇입니까?

Ronak 나는 가정하고

출처

2017-05-06 Ronak Agrawal

는 psql의 테이블은 포스트 그레스 데이터베이스 테이블을 의미한다.

확실치 않습니다. 백업 활동 또는 프런트 엔드에서 데이터를 전송해야하는 이유가 확실하지 않습니다.

표를 CSV 파일로 백업하기 위해 구현 한 방법은 copy 명령을 사용하고 있습니다. 명령 줄에서 실행할 수 있습니다.

출처

2017-05-08 21:52:47 vira

감사합니다. 복사 명령을 알고 있습니다. 저는 2 - 25 Gb와 3 - 40 Gb 테이블을 가지고 있습니다. 그들을 S3에 넣어야합니다. 현재 사용중인 EC2 인스턴스는 높은 메모리가 필요한 데이터를 복사하지 않습니다. 그래서 AWS DataPipeline을 사용해 보았습니다. –

@ronakAgrawal 어떤 인스턴스 클래스를 사용하고 있습니까? – vira

T2.Medium. AWS Pipeline이 데이터를 S3로 스트리밍하고 있지만 –

AWS 데이터 파이프 라인 백업 RDS PSQL to S3

답변

관련 문제