amazon-data-pipeline

0열

1답변

SQL 스크립트에서 AWS S3를 Redshift Copy 명령어로 실행하는 방법은 무엇입니까?

복사 명령을 사용하여 S3에서 Redshift로 일부 파일을 복사하려고합니다. SQL workbench를 통해 다음 명령을 사용했는데 정상적으로 작동하면 데이터를 Redshift Table에 복사했습니다. 내가 .sql 파일에 동일한 명령을 복사하여 AWS 데이터 파이프 라인을 사용하여이 SQL 파일을 실행하려고 할 때 copy <Redshift table

1열

1답변

AWS 데이터 파이프 라인을 통해 AWS EMR 클러스터에서 여러 병렬 스파크 작업을 실행하는 방법

AWS 데이터 파이프 라인을 사용하여 EMR 클러스터에서 스파크 작업을 실행하기위한 플로우를 설정하려고합니다. 우리의 흐름은 "On Demand"일정에서 실행됩니다. 이 활동의 일부로 파이프 라인의 시작 부분에 EMR 클러스터를 만든 다음 emr 클러스터에서 여러 개의 스파크 작업을 병렬로 실행하려고합니다. 데이터 파이프 라인에서 "주문형"일정으로 병렬

0열

1답변

RDS 인스턴스 간 AWS 데이터 파이프 라인 (MySQL)

AWS에서 데이터 파이프 라인을 구축하여 서로 다른 두 RDS MySQL 인스턴스간에 데이터를 전송할 수 있습니까? 전학은 하루에 한 번씩 (매일 같은 시간에 반드시해야하는 것은 아니지만) 일어날 것입니다. 하나의 인스턴스에서 다른 인스턴스로 전체 데이터 테이블을 복사하는 데 관심이 있지만 데이터 파이프 라인 서비스에 대한 설명서에서이 사용 사례를 고려하지

1열

1답변

기존 EMR 클러스터에서 EmrActivity를 어떻게 실행합니까?

기존 클러스터의 AWS Data Pipeline에서 EmrActivity를 실행할 수 있습니까? 현재 EmrCluster와 EmrActivity를 사용하여 AWS EMR에서 작업을 실행하기 위해 데이터 파이프 라인을 사용하고 있지만 모든 파이프 라인을 동일한 클러스터에서 실행하고 싶습니다. 내가 설명서를 읽고 건축가 파이프 라인을 구축했지만 아무것도 할 수

1열

1답변

AWS 데이터 파이프 라인 백업 RDS PSQL to S3

AWS DATA PIPLINE을 사용하여 PSQL에서 S3로 데이터를 전송하려고했지만 메모리 문제로 인해 내 활동이 실패했습니다. Java 힙 공간 오류가 발생했습니다. psql 테이블 (25Gb)에서 S3으로 데이터를 전송할 수있는 여러 솔루션은 무엇입니까? 높은 메모리 머신을 실행할 수있는 유일한 옵션은 무엇입니까? Ronak 나는 가정하고

0열

1답변

AWS 데이터 파이프 라인 - '주문형'파이프 라인 활성화 중에 생성 된 EC2 인스턴스를 다시 사용할 수 있습니까?

질문 - 내가 온 디맨드 이후의 데이터 파이프 라인의 최초의 온 디맨드 실행 중에 생성 된 EC2 자원을 재사용 할 수 있습니다뿐만 아니라 실행? 설명 - 나는 하루에 (예를 들어 시간 이내에 3 회) 동안 여러 번 활성화 할 필요가되는 '온 디맨드'AWS 데이터 파이프 라인을 구성한 . 각 주문형 활성화에 (필자는 각 실행에서 파이프 라인에 다른 매개 변

0열

1답변

AWS Data PipeLine에서 EMR 클러스터를 시작하는 방법 파이프 라인 흐름에서 작업 완료 후

AWS 데이터 파이프 라인 흐름에서 내 활동이 완료된 후에 만 EMR 클러스터를 시작할 수 있습니까? Redshift에서 일부 데이터를 언로드합니다 (1 시간 또는 1 시간 이상 걸릴 수 있음). 시작 EMR 클러스터 는해야 는 그래서, 나는 "시작 EMR 클러스터"와 같은 의존성을 갖고 싶어 클러스터를 종료 다른 활동 을 실행 EMR 클러스터에 SPA

0열

1답변

EMR 클러스터를 자동 종료하는 AWS 데이터 파이프 라인 옵션

데이터 파이프 라인을 사용하여 EMR 클러스터를 설정했지만 단계 기능 상태가 완료된 것으로 표시되면 클러스터가 종료됩니다. 백그라운드에서 spark 작업을 생성하는 내 단계 함수에서 파이썬 스크립트를 실행하고 있습니다. 데이터 파이프 라인 서비스를 사용하여 EMR에서 성공적인 단계 기능을 실행 한 후 내 클러스터를 사용 가능하게 만들 수 있습니까?

3열

2답변

AWS Data Pipeline을 사용하여 RDS 데이터베이스를 S3에 덤프 할 수 있습니까? 이 내가 <code>SqlDataNode</code>가 <code>selectQuery</code> 궁금하고있는 시점에서 원하는 단계까지있어 가능한 경우

는 기본적으로 나는 100 % 확실하지 않다 AWS 데이터 파이프 라인을 사용하여 S3 내 RDS 데이터베이스, 을 pg_dump 싶은 할 것. 난 당신이 테이블 만이 아니라 pg_dump에와 같이 전체 DB를 덤프 수 있다고 생각 AWSTemplateFormatVersion: "2010-05-15" Description: RDS to S3 Dump

0열

1답변

스파크가있는 AWS DataPipeline EMR 클러스터

EMR 템플릿을 사용하여 AWS DataPipeline을 만들었지 만 EMR 클러스터에 스파크를 설치하지 않았습니다. 이를 위해 특별한 조치를 취해야합니까? 일부 bootstrapaction은 스파크 설치가 필요하지만 작동하지 않습니다.