Dataflow 작업이 Bigquery 할당량 및 제한을 초과합니까?

Question

Dataflow를 사용하여 약 1500 개의 작업을 구현했습니다. 이러한 일자리는 매일 계획됩니다. 우리는 Bigquery 클라이언트 라이브러리를 사용하여 엄청난 수의 DML 문을 우리 작업에서 사용할 수 있습니다. Bigquery 할당량 및 한도에 대한 우려 사항을 나열하십시오.

참조 : https://cloud.google.com/bigquery/quotas

우리는 아래에 언급 된 시나리오 중 하나로 고려 BigQuery에서의 일상적인 사용 제한을 할 필요가 않는 확인하시기 바랍니다.

제안하십시오 데이터 흐름 작업에서 BigQuery의 클라이언트 라이브러리를 사용하여

1. 우리가 DML 문을 사용하는 경우 우리는 BigqueryIO.write()
2. 를 사용하여 데이터 삽입을 구현하는 경우 (업데이트/삭제).

Answer 1

절대적으로 합니까은 Bigflow 할당량과 제한을 고려해야합니다 (데이터 흐름에서 연결하는 경우에도 마찬가지 임).

Dataflow는 대신 BigQuery API를 호출합니다. 따라서 모든 할당량과 한도는 직접 전화를 거는 것처럼 적용됩니다.