0
AWS DMS를 사용하여 MySql Aurora에서 Redshift로 진행중인 복제를 수행했습니다. 그러나 진행중인 복제는 대상에 대해 25-30 % CPU로드를 일정하게 유지합니다. 이는 S3에 많은 작은 파일을 생성하고 논스톱을로드/처리하기 때문입니다. 적색 변속은 많은 수의 작은 작업을 처리하기위한 것이 아닙니다.AWS DMS MySql Aurora를 Redshift 복제에 최적화하는 방법은 무엇입니까?
최적화를 위해 프로세스가 매시간 시작되고 대상이 동기화 될 때까지 대기 한 다음 중지합니다. 따라서 지속적으로 일하는 대신 매시간 초에 5-8 분 동안 작동합니다. 그렇더라도 여전히 매우 느리고 최적화되지 않은 이유는 수백 개의 작은 s3 파일을 더 짧은 시간 간격으로 처리해야하기 때문입니다.
더 이상 최적화 할 수 있습니까? DMS가 이러한 변경 사항을 더 오래 버퍼링하고 많은 작은 s3 파일 대신 더 작은 크기를 생성하지 않도록 지시하는 방법이 있습니까? 타겟 레이턴시가 높아도 괜찮습니다.
오로라와 레드 쉬프트 사이에 전송되는 데이터의 양은 다소 적습니다. 시간당 약 20,000 번의 변화가 있으며, 우리는 4-node dc1.large redshift cluster를 사용하고 있습니다. 그것은 최대가 아닌 분
, 또한 당신이 명령을로드 당신이 전체 폴더를 사용합니까 또는 작은 파일 하나 하나를 개별적으로로드합니까? – AlexYes
@AlexYes 수동으로로드 한 경우 예. 그러나 부하는 DMS 복제 인스턴스 자체에 의해 수행되며 제어 할 권한이 없습니다. –