amazon-data-pipeline

2열

1답변

시간당 AWS 데이터 파이프 라인 작업을 예약하려고합니다. 나는 이것을 사용하여 S3에 시간당 파티션을 만들고 싶다. 뭔가 같이 : s3://my-bucket/2016/07/19/09/ s3://my-bucket/2016/07/19/10/ s3://my-bucket/2016/07/19/11/ 나는이 내 EMRActivity에 대한 표현을 사용하고 있

1열

2답변

AWS Datapipeline을 사용하여 DynamoDB로 가져 오는 데 필요한 형식으로 CSV를 변환합니다.

데이터 파이프 라인 (https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part1.html)을 사용하여 S3에서 Dynamo DB 테이블로 데이터를 가져 오는 AWS 문서가 S3 파일을 참조합니다 (s3 : // elasticmapreduce/samples/S

0열

1답변

Amazon Data Pipeline 이름을 참조하는 방법은 무엇입니까?

Amazon Data Pipeline의 이름을 Data Pipeline 자체의 변수로 사용할 수 있습니까? 그렇다면 어떻게 할 수 있습니까?

1열

2답변

S3 수명주기 동작에 사전 조건이 있습니까?

외부 시스템에서 들어오는 버킷에서 매일 수신되는 2 개의 데이터 파일을 읽는 AWS 데이터 파이프 라인 활동이 있습니다. 데이터 파이프 라인은 이러한 데이터를 데이터베이스로 가져옵니다. 일단 데이터 파이프 라인 활동이 처리가 끝나면이 두 파일을 아카이브 된 버킷 위치로 자동으로 이동하려고하지만이 작업은 데이터 파이프 라인이 성공적으로 완료된 경우에만 수행해

0열

1답변

Datapipeline 및 Mule

어떤 MULE 버전이 데이터 파이프 라인 용 AWSSDK와 호환 될 수 있습니까? Mule의 엔터프라이즈 버전을 통해 Datapipeline을 활성화해야합니다. 클라우드 이후로 3.6의 뮬 버전을 사용할 수 있습니다. 도와주세요. 현재 Jar 버전은 NoSuchmethod 오류 또는 Field not found와 같은 문제를 일으키고 있습니다.

2열

1답변

AWS 데이터 파이프 라인 - 실패한 액티비티를 다시 실행하려고 할 때의 오류

내 데이터 파이프 라인에는 프로그래밍 방식으로 인해 많은 실패 (Shellcommandactivity)가 발생했습니다. 그러나 프로그래밍 문제를 수정 한 후 실패한 활동을 다시 실행하려고합니다. & 재실행 모드는 - 계단식 & 일정 유형이 요청시입니다. 나는 아래의 오류를 얻을 주어진 입력이 유효하지 않습니다 (상태 '다시 실행'완성 된 객체 activit

0열

2답변

날짜/요일을 기반으로 Dynamodb를 보관하십시오.

90 일 동안 만 데이터를 보관하여 dynamodb 테이블을 보관하려고합니다. 나는 90 일을 추적하는 데 사용할 수있는 테이블에 recorded_on이라는 필드를 가지고 있습니다. Datapipeline에서 보았을 때 EMR이 필요 없기 때문에 EMR이 너무 과장되었습니다. 이 작업을 수행하는 더 좋은 방법은 무엇입니까? 1. Cronjob that wi

0열

1답변

AWS Redshift 용 오픈 소스 일정 계획 도구가 있습니까?

5 분마다 트랜잭션에서 실행되는 SQL 문 (삽입, 업데이트, 삭제, 자르기)이 거의 없습니다. 최소 스케쥴링 간격은 파이프 라인에 대해 15 분이므로 AWS 데이터 파이프 라인을 사용할 수 없습니다. 사용할 수있는 오픈 소스 도구가 있습니까? 이것을 달성하기 위해 talend studio를 사용할 수 있습니까?

1열

1답변

AWS의 datapipeline 사본 CommunicationLinkFailure

실패 I S3에 RDS에서 데이터를 복사하고 매 15 minute.It를 실행하는 AWS 데이터 파이프 라인이 잘 실행하지만, 오류가 간헐적으로 실패가 연결을 설정할 수 없습니다 to jdbc : mysql : //host.us-west> 1.rds.amazonaws.com:3306/db 통신 링크 실패 mysql 서버 구성을 점검했는데 문제가없는 것으로

1열

1답변

AWS DataPipeline Scheduling에서 최소 15 분 간격의 로직은 무엇입니까?

최근 RDS MySQL에서 거의 실시간 즉 5 초 이내에 데이터를 가져올 수있는 메커니즘을 구축하라는 요청을 받았습니다. ~ 5 분. Lambda, Flydata 및 Data Pipelines를 읽은 후 AWS 데이터 파이프 라인을 선택했습니다. 많은 포럼에서 거의 실시간 데이터 처리와 관련하여 그 이름을 언급했습니다. AWS 데이터 파이프 라인을 사용하면