요구 사항 : S3 백업 위치에서 DynamoDB 테이블을 복원하십시오.AWS 데이터 파이프 라인 작업에서 코어 인스턴스 수를 제공하는 방법
데이터 파이프 라인 작업을 생성 한 다음 아키텍트 마법사에서 리소스 섹션을 편집했습니다.
코어 인스턴스 수에 20 개의 인스턴스를 배치했지만 데이터 파이프 라인 작업 활성화 후 하나의 마스터 인스턴스와 하나의 코어 인스턴스로 EMR 클러스터가 생성되었습니다.
당신은 자료 섹션당신은 총 EC2 자원 제한을 타격 할 수에서 코어의 수를 증가하는 방법, 우리를 제안 해주십시오 없습니다. 한도를 높이기 위해 요청하지 않은 경우 주문형 EC2 인스턴스를 20 개만 실행할 수 있습니다. Datapipeline은이 제한을 인정합니다. 아래 링크를 사용하여 EC2 Ondemand 자원 제한을 늘려야합니다.
docs에서 비슷한 시나리오 :
당신은 AWS 데이터 파이프 라인이 자동으로 데이터를 처리하는 아마존 EMR 클러스터 20 노드를 생성하고 AWS 계정이 20로 설정된 EC2 인스턴스 제한이 구성하는 경우 실수로 사용 가능한 백필 리소스가 소진 될 수 있습니다. 결과적으로 이러한 리소스 제한은 설계시에 으로 간주하거나 이에 따라 계정 제한을 늘리십시오.
추가 용량이 필요한 경우 Amazon Web Services Support Center request form을 사용하여 용량을 늘릴 수 있습니다.
다른 활성 EC2 인스턴스가 없습니다. 코어 인스턴스 수를 늘리는 올바른 방법입니까? 코어 인스턴스 수를 편집하고 늘리는 다른 방법이 있습니까? –
Datapipeline에서 EMR 리소스를 만들 때 CoreInstanceCount 아래에 번호를 전달하면 핵심 인스턴스를 요청하는 올바른 방법입니다. 마스터 인스턴스 카운트 외에도 총 21 개의 인스턴스를 요청하고 있습니다. 마스터 및 코어에 대해 요청 된 인스턴스 유형은 무엇입니까? 작업 인스턴스가 있습니까? – franklinsijo
마스터 인스턴스 수를 올바르게 지정하는 옵션이 없습니까? 내가 틀렸다면 나를 바로 잡으십시오. 또한 작업 인스턴스 사양도 보지 못했습니다. –