데이터 파이프 라인 (https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-importexport-ddb-part1.html)을 사용하여 S3에서 Dynamo DB 테이블로 데이터를 가져 오는 AWS 문서가 S3 파일을 참조합니다 (s3 : // elasticmapreduce/samples/Store/ProductCatalog)이 형식이다 :AWS Datapipeline을 사용하여 DynamoDB로 가져 오는 데 필요한 형식으로 CSV를 변환합니다.
질문입니다 ... 처음에이 형식으로 4 백만 행을 말하는 나는의 CSV를 얻는 방법? 거기에 대한 utlity가 있습니까?
의견을 보내 주셔서 감사합니다 ... 나는 좋은 구글을 가졌지 만 아무것도 올려주지 않았습니다.
AWS Datapipeline 서비스는 Dynamo db에 대한 CSV 가져 오기를 지원합니다. aws 콘솔에서 데이터 파이프 라인 용 파이프 라인을 생성하고 "S3에서 DynamoDB 백업 데이터 가져 오기"를 선택할 수 있습니다. S3에 저장된 CSV를 Dynamodb로 가져 오기.
은 이미 그의 응답이 연결
아니요. 해당 템플릿을 사용하고 있지만 데이터가 있어야합니다. 위의 그림처럼 올바른 형식 ... 직선 CSV가 아닙니다. 실제로 이것을 시도 했습니까? –
steveprk84를 참조하십시오,하지만 난 그것을 호출 원 : https://github.com/awslabs/data-pipeline-samples/tree/master/samples/DynamoDBImportCSV는
EMR에 하이브는 외부 테이블 형식으로 DynamoDB의를 지원합니다. 이 샘플에서는 HiveActivity를 사용하여 대상 Dynamo 테이블과 원본 CSV를 가리키는 외부 Hive 테이블을 만든 다음 Hive 쿼리를 실행하여 데이터를 다른 테이블로 복사합니다.
아마도 인 텐트는 항상 Dynamo에서 S3 (데이터 백업)로 데이터를 내보내고 그 데이터를 가져올 수 있습니다. 따라서 올바른 형식으로 파일을 가져 왔습니다. 그러나 달성하기 위해 노력하고있는 Dynamo 워크 플로로 초기 가져 오기가 아닙니다. –
사용자 지정 파이프 라인 작업을 통해이 작업을 한 번 수행했습니다. 내가 정확히 사용했던 링크 나 사본이 없으므로 답변으로 게시하지 않습니다. 그래도 다음과 같은 내용이 있습니다. https://github.com/awslabs/data-pipeline-samples/blob/master/samples/DynamoDBImportCSV/CSVtoDynamoDB.json – stevepkr84