amazon-data-pipeline

0열

1답변

파이프 라인의 EMR 클러스터에서 EC2 머신에 태그 달기 (S3-> DynamoDB 예에서 ImportCluster)

S3-> DynamoDB 예제를 실행하고 MyImportJob 활동을 위해 생성 된 EMR 클러스터를 실행하는 데 문제가 있습니다. 모든 사용자가 (팀의) 특정 'team_id'태그가있는 EC2 머신을 만들 수 있도록 IAM 계정을 구성했습니다. 이는 리소스를 제어하고 실수를 방지하며 사용량을 모니터링하는 데 도움이됩니다. 파이프 라인이 EMR 클러스터를

0열

1답변

ShellCommandActivity에서 명령 줄에서 AWS 명령 실행하기

원래 문제는 파이프 라인을 실행하기 전에 DynamoDB 쓰기 처리량을 늘린 다음 업로드가 끝나면 줄이는 것이 었습니다 (하루에 최대 한 번 수행하므로 감소하는 한계와 잘 맞습니다.) 처리 방법을 변경하는 API 명령을 실행하는 셸 스크립트를 통해서만 발견되었습니다. 파이프 라인이 나를 위해 생성하는 리소스 일 때 내 AMI access_key 및 secr

4열

1답변

클라우드 형성 템플릿의 일부로 데이터 파이프 라인을 사용할 수 있습니까?

내 앱에는 매일 피드가 포함 된 S3 버킷,이 데이터를 저장하는 테이블이 2 DynamoDB 개, JSON API를 해당 데이터에 노출하는 ELB 애플리케이션 및 수신 데이터를 처리하고 테이블에 업로드하는 data pipeline 플로가 있습니다. 내 CloudFormation 템플릿은 현재 테이블과 ELB 앱을 만듭니다. 파이프 라인의 흐름이 템플릿의 일

2열

1답변

Heroku Scheduler와 동일한 작업을 수행하는 AWS 도구가 있습니까?

rake 작업을 실행하여 다른 리소스의 데이터를 가져 오거나 긁어 모으는 rails 앱을 빌드했습니다. 그러나 Elastic Beanstalk을 사용하여 AWS에 앱을 배포했지만 AWS에서 레이크 작업을 자동화하고 스케줄링하는 방법을 파악하려고합니다. 어떤 아이디어가 가장 좋은 도구입니까? 데이터 파이프 라인에 대해 생각하지만 많은 사람들은 데이터베이스 백

6열

1답변

AWS Datapipeline RedShiftCopyActivity - "열"지정 방법

RedShiftCopyActivity 및 데이터 파이프 라인을 사용하여 S3에서 Redshift로 여러 csv 파일을 복사하려고합니다. 이것은 csv 구조체가 테이블 구조와 일치하는 한 제대로 작동합니다. 내 경우에는 csv가 테이블보다 적은 수의 컬럼을 가지고 있고, RedShiftCopyActivity는 stl_load_errors에서 "Delimite

1열

3답변

파이프 라인에서 s3 파일 삭제 AWS

AWS에서 데이터 파이프 라인을 사용하여 완료하려고하는 처리 작업에 대해 질문하고 싶습니다. 그러나 작동시키지 못했습니다. 기본적으로 2 개의 MySQL 데이터베이스를 나타내는 2 개의 데이터 노드가 있는데, 데이터는 주기적으로 추출되어 S3 버킷에 저장됩니다. 이 복사 활동은 추가 된 모든 행을 매일 선택하는 데 효과적입니다. 오늘은 1 일이라고합시다.

1열

1답변

Amazon SWF 대 돼지 스크립트 용 데이터 파이프

안녕하세요, Amazon EMR에서 실행하려는 일일 데이터 가져 오기 돼지 스크립트가 있습니다. 간단한 작업 흐름 또는 데이터 파이프 라인을 사용하여 작업을 예약하고 모니터링해야합니까? 내가 데이터 파이프 라인을 통해 가려고했지만 출력을 필요로하는 것 .. 내가 사용자 정의 돼지 스크립트를 실행하는 경우이 출력에 들어가는거야? 데이터 가져 오기 작업/작업을

1열

1답변

하이브리드 분산 쿼리가 on-primise hadoop 클러스터 및 amazon s3 hadoop 클러스터

(로컬 네트워크에있는) on-primise hadoop 클러스터에 일정량의 데이터를 가지고 있고 Amazon 클라우드 S3에 데이터가 일정량 남았습니다. 클러스터. 두 위치에서 내 데이터는 하이브 테이블에 있습니다. 내 로컬 hadoop 클러스터에서 하이브 쿼리를 실행하고 싶습니다.이 쿼리는 로컬 클러스터 하이브 테이블의 데이터와 아마존 s3 hadoop

1열

1답변

표준 역할을 사용하여 AWS 데이터 파이프 라인 배포

이전에 작동했던 데이터 파이프 라인 정의를 간단하게 배포하려고합니다. 이번에는 다른 AWS (프로덕션 대 스테이징) 계정과 일관되도록 역할을 변경했습니다. 다음 { "validationErrors": [ { "errors": [ "Please add following permissions to the role

6열

3답변

AWS Postgres RDS에서 S3로 데이터를 파이프하는 방법 (Redshift)?

AWS 데이터 파이프 라인 서비스를 사용하여 RDS MySql 데이터베이스의 데이터를 s3으로 파이프 한 다음 Redshift으로 파이프하면 멋지게 작동합니다. 그러나 데이터를 동일한 방법으로 파이프 싶습니다 RDS Postres 인스턴스에 살고 있지만 jdbc 연결을 설정하는 데 힘든 시간을 보내고 있습니다. 지원되지 않는 경우 해결 방법이 있습니까? "