AWS Postgres RDS에서 S3로 데이터를 파이프하는 방법 (Redshift)?

AWS 데이터 파이프 라인 서비스를 사용하여 RDS MySql 데이터베이스의 데이터를 s3으로 파이프 한 다음 Redshift으로 파이프하면 멋지게 작동합니다.AWS Postgres RDS에서 S3로 데이터를 파이프하는 방법 (Redshift)?

그러나 데이터를 동일한 방법으로 파이프 싶습니다 RDS Postres 인스턴스에 살고 있지만 jdbc 연결을 설정하는 데 힘든 시간을 보내고 있습니다. 지원되지 않는 경우 해결 방법이 있습니까?

"connectionString": "jdbc:postgresql://THE_RDS_INSTANCE:5432/THE_DB”

출처

2014-11-06 jenswirf

이것은 아직 작동하지 않습니다. aws는 postgres에 멋지게 연결하는 기능을 내장/출시하지 않았습니다. 당신은 shellcommandactivity에서 그것을 할 수있다. 약간의 루비 또는 파이썬 코드를 작성하여 scriptUri를 사용하여 s3의 스크립트에서 삭제할 수 있습니다. psql 명령을 써서 테이블을 csv로 덤프 한 다음 해당 활동 노드에서 "준비 : true"로 OUTPUT1_STAGING_DIR로 파이프 할 수도 있습니다. 이 같은

뭔가 :

{ 
    "id": "DumpCommand", 
    "type": "ShellCommandActivity", 
    "runsOn": { "ref": "MyEC2Resource" }, 
    "stage": "true", 
    "output": { "ref": "S3ForRedshiftDataNode" }, 
    "command": "PGPASSWORD=password psql -h HOST -U USER -d DATABASE -p 5432 -t -A -F\",\" -c \"select blah_id from blahs\" > ${OUTPUT1_STAGING_DIR}/my_data.csv" 
}

내가이 파이프 라인을 회전하는 고통 때문에 확인이 실행되지 않은는 :(그래서 더블 명령의 탈출을 확인

전문가를. : 수퍼 직선이며 s3에 업로드 할 추가 스크립트 파일이 필요 없습니다.
죄송합니다. 정확하지는 않습니다. db 비밀번호는 암호화되지 않고 유선을 통해 전송됩니다.

aws가 방금 매개 변수화 된 템플릿 데이터 파이프 라인 : http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-custom-templates.html에서 시작했습니다. 그것은 임의의 매개 변수의 암호화를 허용하는 것 같습니다.

출처

2014-11-28 17:42:46 xgess

로 S3DataNode를 설정 : 당신이에있어 그래서 만약 PostgreSQL은 이제 SSL을 지원 최신 버전에서는 ssl = true로 설정하여 암호화가 설정되도록하십시오. –

AWS는 이제 파트너가 거의 실시간으로 RDS -> 적색 변속기 삽입 작업을 수행 할 수 있도록 허용합니다.

https://aws.amazon.com/blogs/aws/fast-easy-free-sync-rds-to-redshift/

출처

2015-01-22 20:54:05

2012 년 2 월 25 일부터 위의 링크는 MySQL -> Redshift 만 지원하며 OP가 요구하는 Postgres를 지원하지 않습니다. –

그 이후로 업데이트 된 것 같습니다. 링크에서 : 위에서 언급 한 네 가지 데이터 통합 솔루션은 모든 RDS 데이터베이스 엔진 (MySQL, SQL Server, PostgreSQL 및 Oracle)과 함께 사용할 수 있습니다. _ – ryan

요즘 당신은 S3에 포스트 그레스 RDS 인스턴스에서 데이터를 추출 할 수있는 복사 작업을 정의 할 수 있습니다. 데이터 파이프 라인 인터페이스에서 :

형식 SqlDataNode의 데이터 노드를 만듭니다. 테이블 이름 지정 및 쿼리 선택
RDS 인스턴스 ID (인스턴스 ID는 URL에 있습니다. 예 : your-instance-id.xxxxx.eu-west-1.rds.amazonaws.com)를 지정하여 데이터베이스 연결을 설정하십시오. 사용자 이름, 암호 및 데이터베이스 이름.
는 복사 작업을 만들기 형 S3DataNode
의 데이터 노드를 생성하고 입력으로 SqlDataNode과 빠른 업데이트로 출력

출처

2015-12-06 17:28:54 PeterssonJesper

이 확인되었으므로 더 이상 셸 명령을 필요로하지 않습니다 –

이것은 너무 나쁘지 않습니다. 아직 CA에서 사용할 수 없음 –

AWS Postgres RDS에서 S3로 데이터를 파이프하는 방법 (Redshift)?

답변

관련 문제