AWS CLI를 통해 150 만 개의 파일을 Bucket으로 푸시하려고합니다. 먼저 스테이징을 시도했으며 작업이 아직 실행 중입니다 (폴더를 반복합니다). 현재 5 일 동안 진행 중입니다 ...AWS S3 버킷 복사 기능
온라인 서버의 많은 파일을 S3 버킷으로 푸시하는 더 빠른 방법이 있습니까?
FYI : 모든 파일은 이름에 따라 하위 폴더에서 해시 된 특수 폴더에 있습니다.
먼저 모든 파일의 목록을 가져 와서 파일 이름이 1,2, .. 9로 시작하는 것처럼 접근하십시오. AWS CLI의 별도 프로세스를 시작하여 각 목록을 업로드 할 수 있습니다. 당신은 하나의 시스템 한계와 또 다른 s3 쓰로틀 링을 두드 리게 될 것입니다. 이것은 대략 초당 약 300 글 쓰는 것이고 이것은 매우 높기 때문에 당신이 아주 좋은 설정을 가지고 있다면 AWS CLI의 더 많은 수를 시작할 수 있습니다. 파일의 크기가 크면 멀티 파트 업로드가 활성화되어 있는지 확인하십시오. 가지 아래
당신은 시도 할 수 있습니다 :
사용 1Gbps의 전용 개인 네트워크 연결을 설정 AWS의 DirectConnect (또는 10Gbps 포트)를 제공합니다. Direct Connect 위치에 기존 인프라가없는 경우에도 APN 네트워크 [2]를 사용할 수 있습니다.
파일은 압축 가능합니까? – Ashan
파일은 JPG 및 PNG입니다. – Isengo