BigQuery에서 데이터를 저장하는 위치

Question

BigQueryIO를 사용하여 Google Dataflow 작업에서 BigQuery에 데이터를 게시하고 있습니다.

AFAIK, BigQuery는 Google Cloud Storage, Google 드라이브 및 Google 스프레드 시트의 데이터를 쿼리하는 데 사용할 수 있습니다.

하지만 BigQueryIO를 사용하여 데이터를 저장할 때 데이터가 저장되는 위치는? Google Cloud Storage에 있나요?

Answer 1

클라우드 스토리지가 큰 쿼리에서 별도의 서비스입니다 BigQuery Overview에서 BigQuery의 다른 구성 요소에 대한 자세한 내용을보실 수 있습니다. 내부적으로 Big Query는 자체 스토리지를 관리합니다.

데이터를 Cloud Storage에 저장 한 다음 bq 명령을 사용하여 Cloud Storage의 파일에서 Big Query 테이블을로드하면 데이터 복사본이 2 개 있습니다.

처벌은 다음과 같습니다 : 당신은 클라우드 스토리지 사본을 삭제하면

• 는, 데이터가 여전히 큰 쿼리에있을 것입니다.
• 수수료에는 각 사본의 가격이 포함되어 있습니다. 2017 년 4 월에 BQ의 장기 저장은 0.01 달러/GB이고 클라우드 저장은 저장 클래스에 따라 $ 0.01- $ 0.026/GB 정도라고 생각합니다.
• 동일한 데이터가 GCS와 BQ에 모두있는 경우 두 번 지불하고 있습니다. 데이터의 백업 복사본을 갖는 것이 가치가 있는지 여부는 귀하에게 달려 있습니다.

Answer 2

BigQuery는 관리되는 데이터웨어 하우스로 간단히 데이터베이스라고합니다.

데이터가 BigQuery에 저장되므로 SQL 쿼리를 사용하여 데이터에 액세스 할 수 있습니다. -

Answer 3

짧은 답변 BigQueryIO 쓰기/읽기/BigQuery의 표에서

는 조금 더 깊게하려면하려면 다음 Capacitor 원주 데이터 형식
BigQuery에 데이터를 저장하고, 테이블, 파티션, 컬럼의 표준 데이터베이스 개념을 제공합니다 , 그리고 행.

압축, 암호화, 복제, 성능 조정 및 확장을 비롯하여 구조화 된 데이터를 저장하는 기술적 측면을 관리합니다.

당신은