Google 어스 엔진 : GEE에서 AWS S3 버킷으로 MODIS 이미지 내보내기

Question

현재 MODIS 데이터 세트를 사용하는 기계 학습 프로젝트를 진행 중입니다. 내 PC가 프로젝트의 계산 요구 사항을 충족시키지 못하기 때문에 AWS 서버를 사용했습니다. 이제 문제는 어스 엔진이 이미지를 Google 드라이브 또는 Google 클라우드 저장소로 내보내고 있지만 내 S3 버켓으로 내보낼 수있게하려는 것입니다.

데이터를 로컬 저장소에 다운로드 한 다음 S3 버킷에 업로드하라는 답변을 보았습니다. 거대한 데이터 세트와 저속한 데이터 속도를 감안할 때, 나이를 먹을 것입니다. 따라서 Earth Engine을 사용하여 내 S3 버킷으로 직접 내보낼 수 있습니다.

내보내기가 발생하는 곳의 문서를 살펴 보았습니다 (ee.batch.Export.image). Geotiff 이미지를 Google 드라이브 또는 클라우드 저장소가 아닌 AWS S3 버켓으로 내보내는 함수를 작성하려고합니다.

P.

• 아마존 MODIS 공용 데이터 세트와 내가 원하는 데이터 세트 (MOD09A1 및 기타 몇 개)가 아마존에 의해 제공되지 않았 음을 이미 확인했습니다.
• PC에 Windows 10이 설치되어 있습니다.

Answer 1

MODIS 이미지는 다른 데이터가 이제 구글 어스를 들어)

1을 고려 설정하고 여기에 몇 가지 있습니다에 대한 흥미로운 질문이다, (https://aws.amazon.com/public-datasets/modis/)

그러나 AWS S3에 이미 엔진은 최대 5GB의 Google Cloud Storage Buckets (GCS) 또는 gmail을 포함하여 최대 15GB의 Google 드라이브에만 쓸 수 있습니다. 따라서 AWS S3로 푸시하기 전에 로컬 드라이브에 이러한 이미지를 다운로드 할 수 있도록하려면 GCS 또는 드라이브에서 사용 가능한 공간이 충분한 지 확인해야합니다.

2) Google 어스 엔진은 메타 데이터를 내 보내지 않으며 특정 파일 크기 제한을 초과하는 경우 큰 GeoTiff를 분할합니다 (특정 사항을 염두에 두어야 함). 업로드하기 전에 분할 된 이미지를 하나의 이미지로 모자이크 처리하려는 경우 AWS. 속성을 메타 데이터로 CSV 또는 kml 파일로 내보낼 수도 있습니다. 당신은 당신이 이상적인 방법은 드라이브하기 EE에서

• 밀어 것 GCS 또는 Google 드라이브에 충분한 버퍼 공간이 알게되면

  3)/GCS

지역의 다음 밀어 드라이브/GCS에서
• 풀 AWS (클라이언트 리소스 대신 Google의 네트워크 속도를 사용하여이를 수행하려는 경우 always free model from Google에있는 작은 마이크로 인스턴스를 만들 수 있습니다.)

• 클라이언트 리소스를 사용하지 않는 또 다른 방법은 웹 통합 서비스를 사용하는 것입니다. 예를 들어 Zapier는 Dri와 새 파일이 들어 오면 AWS로 복사되고 AWS로 복사되면 트리거로 들어오는 새 파일을 사용할 수 있습니다. [나는 이것을 시도하지 않았지만 그것이 Zapier 또는 IFTTT를 사용하여 수행 할 수 있음을 알고 있습니다.

• 주기적으로 클라우드 저장소를 확인하고 파일을 GCS로 복사하면 파일이나 폴더가 동기화되었는지 확인한 다음 GCS/드라이브에서 파일을 삭제하여 공간을 다시 확보하고 프로세스를 반복 할 수 있습니다.

나는 다른 사람들이 이것에 대한 다른 훌륭한 제안을하고있을 것이라고 확신하지만, 이것은 단지 나의 방법 일뿐입니다. 도움이 되었으면 좋겠어요

샘