[10 억 개 이상의 객체가있는 Bucket의 경우] 객체를 나열하는 동안 AWS S3 V2 Java API의 제한을 1000 개로 변경하는 방법은 무엇입니까?

Question

10 억 개가 넘는 객체가있는 Amazon S3 버킷에서 키를 다운로드해야하는 프로젝트를 진행 중입니다. Java V2 API를 사용하여 코드를 작성했지만 한 번에 1000 개의 키만 다운로드하므로 도움이되지 않습니다. 이 버킷에서 모든 키 목록을 가져 오는 데 며칠이 걸립니다. 모든 키 목록을 가져 오는 더 빠른 방법이 있습니까?

이 주제와 관련된 다른 답변을 확인했지만 도움이되지 않았습니다.

감사합니다.

Answer 1

많은 수의 개체에서 동일한 문제가있었습니다.

패턴 타임 스탬프는 개체 이름에 10 씩 증가했습니다. 당신은 내가 15 분 단위로 각 타임 스탬프에 대한 실행 병렬 스레드를 가지고 모든 것이 매우 빠르게 읽은를 반복하면 그것은

s3://bucket-name/timestamp/actualobject.extension 

Eg., 
s3://mys3bucket/1506237300/datafile001.json 

, 다음과 같습니다.

가장 중요한 해결 방법은 해당 개체를 저장하는 데 사용한 패턴을 찾아 해당 패턴을 기반으로 개체 이름을 나열하는 것입니다.

희망이 있습니다.