설정 2 youtube bigquery 전송 (각 소유자 ID 당 하나), 동일한 접미사를 사용하므로 데이터가 동일한 테이블로 이동합니다. 전송에 많은 양의 데이터가 누락되었습니다.

Question

일반적으로 매일 데이터를 가져 오는 데이터 범위는 100,000 개가 넘습니다. 하지만 2 bigquery 전송 (각 소유자 ID 당 하나)을 설정할 때 동일한 접미어를 사용하므로 데이터가 동일한 테이블로 이동합니다. 전송에 많은 데이터가 누락되었습니다.

전송 상태가 성공적으로 표시되지만 언젠가는 100,000 + 레코드 대신 4000-5000 개의 레코드 만 가져옵니다. 하지만 언젠가는 10 만개의 기록이 있습니다.

질문 1 :

가능 BigQuery의 전송에만 상기 데이터의 전송이 완료 부분인가요? 내 이해 bigquery 전송은 "모두 또는 없음"입니다. 성공하면 모든 전송이 완료됩니다. 실패하면 0 레코드가 전송됩니다.

일부 경우 bigquery가 실패했지만 상태가 완료된 것으로 나타납니다.

질문 2 : 나는 두 전송을 설정할 때

는, 동일 테이블에 데이터를 전송 모두 전송, 나는 상당히 고장률 증가를 볼 수 있습니다.

두 개의 전송이 어떻게 과정에서 서로 충돌 할 수 있습니까?

Answer 1

확인.

확인했습니다.

예를 들어, 내가 계정 하나를 가지고 계정 1의 전송을 실행 2.

1. 계정, 나는 10 만 개 행을 얻었다.
2. 계정 2의 이전을 실행하면 5,000 행이 있습니다.

는하지만 난 100,000 행을 가지고, 모두가 하나의 전송 계정 내가 계정 1 개 전송을 실행 같은 테이블 2의 전송 (같은 접미사)

1. 계정 설정합니다.
2. 그런 다음 계정 2 전송을 실행합니다. 계정 1 전송에 의해 생성 된 100,000 개의 행을 잃어 버렸지 만 생성 된 5,000 행 2 계정을 얻었습니다.

---

는 BigQuery의 전문가가 자문. 예. 하나의 테이블에 데이터를 덤프하기 위해 두 번의 전송을 설정할 수 없습니다. bigquery 이전 백필로 인해 "삭제 및 삽입"이 가능합니다.