모든 종류의 엔티티 읽기

Question

데이터베이스에 수억 개의 '행'을 저장하고 바흐 처리를 위해 모두 다시 읽어야합니다 (json 형식으로 디스크에 저장되어 있지만 백만 개의 '행'당 약 200MB의 데이터가 있습니다.).

GCP 데이터 저장소는 이러한 종류의 작업에 적합합니까? 나는 '테이블 스캔 (table scan)'이 관련되어있을 때 그것이 느릴 수도 있다는 느낌을 가지고있다.

BigQuery는 과도한 것처럼 보입니다. CloudSQL이 이런 종류의 작업에 가장 좋을까요?

Answer 1

BigQuery는 저장 및 쿼리가 빠르며 빠릅니다. 예를 들어 pricing documentation 또는 post about how to query a terabyte for free each month에서 자세한 내용을 볼 수 있습니다. 나는 당신의 문제에 대해 과잉으로 보인다는 말을하지는 않겠지 만 몇 가지 다른 백엔드로 실험 해보고 어떤 것이 당신의 필요에 가장 잘 맞는지 보길 권합니다.