2017-05-23 9 views
0

큰 쿼리에 스트리밍 데이터를 파이썬 구현 한 적이 있는데, docs의 예제와 비슷합니다. 모든 작업에서 "로드 된 1 행 ... "하지만 쿼리를 할 때 테이블 당 하루에 30-35 행 (테이블은 일별로 분할 됨)과 비슷하지만 테이블에 스트리밍되는 데이터에 평균 25k 요청이 발생합니다. "api"호출을 보았을 때, 800 행의 앤트 버퍼처럼 보여 주지만, 4 일이 걸렸고, 4 일전에 내 테이블에서 내 데이터를 볼 수 없습니다.google big query - 버퍼에서 데이터를 플러시 (버퍼에서 4 일간 데이터)

답변

2

tabledata.insertAll을 호출 할 때 각 행에 중복 제거 insertId을 제공하고 있습니까? 삽입 된 모든 행에 대해 동일한 insertId를 다시 사용하는 경우 이와 유사한 동작을 관찰하게됩니다.

+0

안녕하세요 shollyman, RFC 4122에 따라 임의의 ID를 생성하는 라이브러리를 사용하고 있습니다. https://docs.python.org/2/library/uuid.html –

+0

나는 versión 4 errors = table을 사용하고 있습니다. .insert_data (rows, row_ids = str (uuid.uu4())) –

+0

이 사용법을 감안할 때 row_ids를 제공하지 마십시오. 즉, insert_data는 행의 현재 행 인덱스를 사용하여 uuid 캐스트에서 string으로 하위 문자열을 가져 오므로 insert_id는 예상 한대로 행당 고유 한 uuid가 아닌 단일 문자 또는 숫자 일 가능성이 높습니다. – shollyman