S3 버킷 마운트에서 EBS로 파일 및 디렉토리를 복사하는 방법

Question

S3FS가있는 EC2 인스턴스 하나에 볼륨으로 S3 버킷 마운트가 있습니다. 필자는 PHP로 20GB 이상의 디렉토리 구조를 만들었습니다.

S3FS가 인스턴스 메모리를 모두 소모하고 업로드가 너무 느려서 모든 인스턴스를 동일한 인스턴스에 연결된 EBS로 이동하려고합니다.

S3CMD를 사용해 보았지만 S3FS가 디렉토리와 동일한 이름의 버킷에 크기가 0 인 객체를 생성하기 때문에 몇 가지 비 호환성이 있습니다.

또한 0 크기의 객체를 건너 뛰는 구조를 반복적으로 복사하는 스크립트 작성을 시도했습니다.

아무 것도 작동하지 않습니다.

누구든지이 작업을 시도 했습니까? 귀하의 도움에 미리 감사드립니다.

Answer 1

@hernangarcia 일을 복잡하게 만들지 말고 wget -r 다음에 버킷 끝점의 url이 오는 재귀 wget을 사용하십시오. 모든 내용을 EBS 볼륨에 다운로드 할 수 있습니다. 또한 내 제안은 인스턴스의 루트 볼륨에 20GB와 같은 모든 파일을 저장하는 대신 다른 볼륨을 연결 한 다음 해당 파일을 해당 여분의 볼륨에 저장하고 IOPS 볼륨이 너무 높으면 그 작업은 더 빨라질 것입니다.