1TB 폴더 및 파일을 vps 웹 서버에서 AWS S3로 전송

Question

폴더 구조가있는 모든 파일을 AWS S3으로 전송해야합니다. 나는 이것에 대한 많은 연구를 해왔다.

대부분의 장소는 s3fs입니다. 그러나 이것은 조금 오래된 것 같습니다. 그리고 내 기존 CentOS 6 웹 서버에 s3fs를 설치하려고했습니다. 그러나 그것의 붙어있어 $ make 명령. (그렇습니다 Makefile.in이 있습니다)

그리고 as per this answer AWS S3 Transfer Acceleration은 다음으로 더 좋은 옵션입니다. 하지만 여전히 모든 폴더와 파일을 S3로 전송하는 PHP 스크립트 (내 애플리케이션은 PHP)를 작성해야합니다. S3 (API putObject)에서 파일을 저장하는 방법과 동일하게 작동하지만 빠릅니다. 내가 틀렸다면 나를 바로 잡아주세요.

CentOS 6 서버에서 AWS S3로 폴더가있는 1TB 파일을 전송하는 데 더 좋은 해결책이 있습니까? CentOS 6 외부에서 AWS S3로 파일을 전송하기 위해 EC2에서 FTP 클라이언트를 사용할 방법이 있습니까?

Answer 1

aws s3 sync 명령의 AWS Command-Line Interface (CLI)을 사용하십시오.

이렇게하면 디렉토리 구조가 유지되고 연결이 끊어진 경우 다시 시작할 수 있습니다. 각 실행은 새 파일, 변경된 파일 또는 누락 된 파일 만 복사합니다.

1TB는 많은 양의 데이터이므로 복사하려면 significant time을 사용할 수 있습니다.

대체 방법은 AWS가 보낼 수있는 기기 인 AWS Snowball을 사용하는 것입니다. 50TB 또는 80TB의 데이터를 저장할 수 있습니다. 단순히 데이터를 장치로 복사 한 다음 AWS로 다시 보내면 데이터가 Amazon S3로 복사됩니다.