amazon-data-pipeline

0열

1답변

MySQL에 S3에있는 40GB 파일 (약 90MB 크기의 520 개 부품으로 나누어 짐)을로드하려고합니다. MySQL에 aws 데이터 파이프 라인 S3를 만들었습니다. 로드하기 전에이 레코드를 하이브에서 처리 한 다음 S3에 출력 파일을 저장했습니다. 파일의 일부 레코드는 NULL 값을 나타 내기 위해 \ N을 포함합니다. 레코드 데이터를로드하려고하면 파

0열

1답변

작업 주자가 로컬 컴퓨터에서 실행되고 있지 않습니다.

정의 된 작업을 수행하기 위해 태스크 러너를 실행 중입니다. 실행 중에 로그 파일을 s3에 업로드 할 수 없다는 메시지가 나타납니다. 작업 러너 응용 프로그램을 디버깅 한 후 S3에 파일을 업로드하는 동안 ACL 옵션을 사용하지 말아야하는 몇 가지 제한 사항으로 인해 S3에 작업 러너 로그 파일을 업로드하기 위해 ACL 옵션을 사용합니다. 개체에 ACL을

0열

1답변

S3에 다이나모 DB 테이블을 신속하게 내보내기

그래서 전체 DynamoDB 테이블을 S3에 덤프하고 싶습니다. 이 tutorial은 그렇게하는 방법에 대한 좋은 설명을 제공합니다. 테스트 해 봤는데, 훌륭 했어. 그러나 지금은 (> 100GB) 상당한 제작 데이터에서 사용하고 싶습니다. 그리고 나는 그것이 빨리 달리고 싶다. 분명히 DynamoDB 테이블의 읽기 처리량이 여기에 중요한 요소이지만 데이터

0열

1답변

AWS 데이터 파이프 라인 - SQLActivity - 업데이트 문이 가능합니까?

CSV 파일 (S3에 저장 됨)에서 입력을 받아 오로라 RDS 테이블의 레코드를 "업데이트"하는 데이터 파이프 라인을 만들어야합니다. 대량 레코드 삽입을위한 표준 형식 (기본 서식 파일)을 이해하지만 레코드 업데이트 또는 삭제의 경우 SqlActivity에서 이러한 문을 사용할 수있는 표준 방법이 있습니까? 업데이트 문을 작성할 수 있지만 CSV 입력을 참

0열

1답변

AWS 데이터 파이프 라인 MySQL은 널 (null) 나오지 쉘 명령 활동 편두통

는 다음과 같은 시나리오가있다. CopyActivity를 사용하여 데이터 파이프 라인을 사용해 보았지만 내 보낸 CSV에 \ N 또는 NULL 대신 공백이 있으므로 MySQL은 해당 필드를 응용 프로그램에 적합하지 않은 ""로 가져옵니다. 그런 다음 약간 다른 접근 방식으로 시도했습니다. CopyActivity를 통해 S3에 내보내기 테이블은 ShellCo

1열

1답변

AWS 데이터 파이프 라인이 RDS Mysql (연결 시간 초과)에 연결할 수 없습니다.

RDS Mysql에서 s3으로 데이터를 가져 오는 AWS 데이터 파이프 라인을 만들려고합니다. 나는 템플릿 시도했지만 많은 실패했습니다. 그런 다음이 자체 구성 파이프 라인을 만들었지 만 여전히 성공하지 못했습니다. 누구든지 건축가를 보면서 문제를 지적 할 수 있습니까? 여기 는 RDS MySQL의 세부 사항입니다 -> 참고 <는 - 내가 별도의 사용자 및

1열

2답변

AWS 데이터 파이프 라인을 다시 시작하는 방법

을 예약했습니다. AWS 데이터 파이프 라인의 실행을 도중에 실패했습니다. 어떤 식 으로든 Pipeline을 수정하지 않고 문제를 해결했습니다 (S3의 스크립트 변경). 그러나 파이프 라인을 처음부터 다시 시작하는 좋은 방법이없는 것처럼 보입니다. 파이프 라인 비활성화/재 활성화 시도했지만 이전에 "완료"노드가 다시 시작되지 않았습니다. 이것은 예상된다.

1열

2답변

Boto3을 사용하여 json 데이터 파이프 라인 정의 넣기

데이터 파이프 라인 정의가 json 형식이므로 파이썬에서 Boto3을 사용하여 'put'하고 싶습니다. 난 당신이 put-pipeline-definition를 사용하여 AWS CLI를 통해이 작업을 수행 할 수 있습니다 알고 있지만 Boto3 (그리고 AWS API는) pipelineObjects, parameterObjects 및 parameterValu

0열

2답변

AWS 데이터 파이프 라인 사용 PigActivity

데이터 파이프 라인에서 간단한 PigActivity를 사용하려고합니다. http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-pigactivity.html#pigactivity 입력란 및 출력 입력란은이 활동에 필요합니다. 둘 다 S3DataNode를 사용하도록 설정했습니다. 이 두

0열

1답변

AWS Datapipeline - s3 버킷의 무작위로 명명 된 파일을 Redshift로 가져 오기

언제든지 새 파일을 s3 폴더에 표시 할 수있는 사용 사례가 있습니다. RedshiftCopyActivity를 통해 Redshift에서 가져오고 싶습니다. 데이터를 s3에서 Redshift로 이동할 수있는 파이프 라인 설정이 있지만 특별히 명명 된 파일이 있습니다. 그러나이 경우 파일 이름은 임의적 일 수 있습니다. 나는 우리가 S3 폴더 S3가 말 같은