파이썬 스토리지 Google 클라이언트에서 1GB 이상 파일을 업로드 할 수 없습니다.

Question

안녕하세요. google-cloud-storage ~ = 1.6.0 클라이언트를 사용하여 '대용량'파일 2GB를 Google 저장 형식 kubernetes에 업로드 할 수 없습니다.

client = storage.Client() 
    self.bucket = client.get_bucket('test-bucket') 
    blob = self.bucket.blob(remote_file) 
    blob.upload_from_filename(local_file) 

내가 포드에게 많은 메모리를 준 (4기가바이트 +)는 그것을 해결할 수 있다는 생각하지만, 마스터는 그것을 어떤 식 으로든 (OOMKilled), 내가 업로드 과정에서 일부 구성을 잃었 생각을 죽인다.

Answer 1

기본 동작 인 upload_from_filename은 전체 파일을 메모리로 읽어 모든 파일을 한꺼번에 업로드하려고합니다. 이 문제가 발생하지 않도록하려면 blob.chunk_size을 호출하기 전에 blob.upload_from_filename으로 전화하십시오. 감지 할 수있는 값은 1MiB (1024 * 1024)입니다.

이 내용은 새로운 호재 인 것 같습니다 (introduced by this commit).