amazon-data-pipeline

0열

1답변

Aws Datapipeline : ShellCommandActivity에서 출력 양동이의 내용을 나열하십시오.

쉘 스크립트에서 출력 양동이에 포함 된 파일을 어떻게 나열 할 수 있습니까? ls $ {OUTPUT1_STAGING_DIR} 이 이름으로 파일이나 디렉토리가 없다는 메시지가 표시되므로 작동하지 않습니다. 이 작업을 수행하는 쉬운 방법이 있지만 솔루션을 찾을 수없는 것 같습니다.

0열

1답변

Amazon DataPipeline regex format

Amazon S3 버킷에서 엄청난 양의 로그를 구문 분석하려고했습니다. 지금까지 튜토리얼 비디오에서 설명한대로 샘플 파이프를 만들고 구성했습니다. 그러나 어떤 이유로 RegEx가 파이프가 작동 된 후에 엉망이됩니다. (\S+)\s... 및 저장 후 분명 내가 알고 있는데 어떤 정규식 egine) 어떤 이해가되지 않습니다 (S+)s... 되었다 : 원

3열

3답변

AWS Dynamo DB의 백업 데이터 파이프 라인을 매일 설정해야합니까?

우리가 개발중인 애플리케이션에 AWS DynamoDB를 사용할 것을 고려하고 있습니다. DynamoDB에서 S3으로 데이터를 내보내는 백업 작업을 설정하면 EMR이있는 데이터 파이프 라인이 필요하다는 것을 알고 있습니다. 하지만 제 질문은 1 일차에 백업 작업을 설정하는 것에 대해 걱정할 필요가 있습니까? 데이터 손실이 발생할 수있는 기회는 무엇입니까?

4열

2답변

AWS 데이터 파이프 라인 지원 SQL Server RDS

AWS 데이터 파이프 라인에 대해 지원되는 데이터 소스와 관련된 설명서를 찾으려고합니다. SQL Server RDS 데이터를 S3로 내 보내면됩니다. Data Pipeline은 RDS를 소스로 사용할 수 있다고 말한 많은 문서를 찾고 있습니다 만, 모든 예제는 MySQL RDS만을위한 것입니다. 누구나 데이터 파이프 라인 및 SQL Server RDS 사용

1열

1답변

AWS 데이터 파이프 라인을 사용하여 온 - 프레미스 데이터를 S3에 복사

AWS 데이터 파이프 라인을 사용하여 온 - 프레미스 SQL 데이터베이스에서 Amazon S3로 데이터를 가져 오려면 어떻게해야합니까? 자습서에 대한 링크가 도움이 될 것입니다.

5열

1답변

S3 to Redshift 입력 데이터 형식

간단한 체인 s3-pipeline-redshift를 실행하려고하는데 입력 데이터 형식이 완전히 고생했습니다. 여기 내 파일입니다 : 1, 도요타 공원, 브리지 뷰, IL 2, 콜럼버스 크루 스타디움, 콜럼버스, 오하이오 3, RFK 경기장, 워싱턴 DC 4, 커뮤니티 아메리카 볼 파크, 캔자스 시티, KS 5, 질레트 스타디움, 폭스 버러, MA 6 8 일

2열

2답변

ShellCommandActivity 및 python 스크립트

일부 데이터 파일을 처리하기 위해 쉘 명령 활동과 함께 Elastic Data Pipeline을 사용하려고합니다. 특히 파이썬을 사용하여 일부 준비된 데이터를 처리하려고합니다. $ {INPUT1_STAGING_DIR}이 정의되지 않았기 때문에 네 번째 인쇄 문이 명중 할 때 #!/usr/bin/env python import os print "We'v

1열

1답변

여러 입력 파일에서 채우기 테이블

다음 시나리오가 있습니다. 여러 csv 파일에 동일한 테이블의 다른 열이 포함되어 있습니다. 어떻게 든 redshift 테이블을 채울 수 있습니까? 이상적으로는 데이터 파이프 라인의 도움을 받습니까? 내가이 일을 성취 할 수있는 길을 찾지 못했습니다. 가능하다면 누군가 해결책이나 어쩌면 간단한 예를 도울 수 있습니까?

0열

1답변

AWSDatapipeline 백업/복원 및 유효성 검사

AWS 데이터 파이프 라인에서 새로운 제품이며 DynamoDb를 S3 버킷으로 백업 한 다음 해당 백업에서 복원 된 dyanmoDb 테이블로 복원 한 다음 레코드의 유효성을 검사해야합니다. S3 백업 및 복원 dynamoDb 테이블. 누군가가이 작업을 수행하는 방법을 알려 주실 수 있습니까? Dynamo에서 S3로, S3에서 Dynamo로 copyrecor

8열

1답변

Amazon Data Pipeline에서 하이브/돼지 설치를 중지하는 방법은 무엇입니까?

하이브 (Hive) 또는 돼지 (Pig)가 필요하지 않으며 Amazon Data Pipeline은 기본적으로 EMR 클러스터에 설치합니다. 이로 인해 테스트가 예상보다 오래 걸립니다. 설치를 해제하는 방법에 대한 아이디어가 있습니까?