google-bigquery

3열

1답변

BigQuery : Jobs 리소스가 200 OK이고 "outputRows": 584이지만 데이터가 BigQuery 테이블에 없습니다.

많은 리소스에서 파일을 다운로드하는 Python 스크립트가 있습니다.이 파일은 이후 Google Cloud Storage Bucket에 업로드됩니다. 일부 처리, 거기에서 이러한 파일은 Relevent BigQuery 테이블에로드됩니다. 내가,이 스크립트를 15 분마다 실행하는 cron 작업이 완벽하게 작동하지만, 일부 시간, 일주일에 한 번처럼, 내가 1

python google-bigquery google-cloud-platform 2017-11-20

---

0열

1답변

BigQuery 샤드 테이블에 스트리밍하는 동안 스키마 드리프트를 관리하는 방법

BigQuery를 처음 사용하고 실시간 분석을 위해이 방법을 사용하는 가장 좋은 방법을 찾아 내려하고 있습니다. 백엔드 서비스에서 카프카로 로그 스트림을 보내고 있으며이를 스트리밍 삽입을 사용하여 BigQuery로 스트리밍하려고합니다. 질의 성을 위해 우리는 시간 단위로 파티셔닝하고, 이벤트 유형 (와일드 카드 질의와 함께 사용)별로 테이블을 샤딩합니다.

google-bigquery 2017-11-20

---

0열

1답변

'Timestamp'유형이있는 열이있는 BigQuery 테이블에 Avro 파일을로드하는 방법

기본적으로 Avro는 타임 스탬프를 지원하지 않지만 파일에 'Long'유형의 'Epoch'시간 값을 포함 할 수 있습니다. 내가 원하는 것은 명령 행 도구를 사용하여 Avro 파일 데이터를 Bigquery 테이블에로드하는 동안 'Timestamp'형식으로 값을로드하는 것입니다. 예 : 값이 1511253927 인 열이 있는데이 값을 명령 줄 도구를 사용하여

google-bigquery 2017-11-21

---

0열

1답변

필드 'T'

나는 다음과 같은 쿼리가 : SELECT ROUND(INTEGER(field)/64, 0)*64 as T, COUNT(T) FROM [table] GROUP BY T; 을하지만 그것이 나에게주는 : 내가 잘못 Field 'T' not found in table 을 뭐하는 거지? 사소한 것이어야하지만 나는 그것을 보지 못한다. 대신

sql google-bigquery 2017-11-21

---

-2열

1답변

에 대한 Bq 명령 또는 데이터 흐름은로드

gcs에 간단한 구분 파일이 있습니다. bigqyery 테이블에 (transfermation없이) 그 파일을로드 할 필요가있다. 우리는 데이터 흐름이나 bigqyery 명령 행 유틸리티를 사용하여 그 파일을 bigqyery 테이블에로드 할 수 있습니다. 나는 bigqyery 또는 bq 명령 행 유틸리티 중에서 어느 것이 가장 좋은 옵션인지 이해할 필요가있다

google-bigquery google-cloud-dataflow 2017-11-21

---

1열

1답변

BigQuery - 대형 테이블 조인 및 피벗

피봇 팅에 대한 게시물이 있습니다. 피치링에 대한 게시물이 있습니다. BQ 커뮤니티에 감사드립니다. 그러나이 게시물은 필요한 수의 피벗 열이 많이 있고 분산 된 테이블 조인이 필요하고 .... 또한 누그러 뜨리는 부분을 최적화하는 것에 대한 조언을 구합니다. 많은 것을 요구하지 않는다! 목적 : 우리는 합류 필요가 전체 10 년 역사를 가진 2 개 개의 대

google-bigquery 2017-11-22

---

0열

1답변

서비스 계정을 사용하여 API를 통해 BigQuery의 Google 스프레드 시트 기반 테이블에서 데이터 쿼리

서비스 계정을 사용하여 기본 BigQuery 테이블에서 데이터를 가져올 수 있습니다. 그러나 동일한 서비스 계정을 사용하는 BigQuery의 Google 스프레드 시트 기반 테이블에서 select을 (를) 시도 할 때 오류가 발생했습니다. from google.cloud import bigquery client = bigquery.Client.from_

google-bigquery google-oauth2 google-cloud-iam 2017-11-22

---

0열

1답변

파이썬에서 API를 통해 BigQuery 테이블을 분할하기

저는 파이썬을 사용하여 BigQuery API를 사용하고 있습니다. 쿼리를 실행하고 새 테이블을 작성하는 데 성공했지만 해당 출력 테이블이 정확히 분할되어 있는지 확인하려고합니다. https://cloud.google.com/bigquery/docs/creating-partitioned-tables 쿼리의 출력에는 event_date [2017-11- 12

python google-bigquery 2017-11-22

---

0열

1답변

중첩 된 총 데이터 (BigQuery의 Google 애널리틱스 데이터)에서 올바른 총계를 반환하는 방법

BigQuery의 GA 데이터에 대한 일부 쿼리를 실행 중입니다. 중첩되지 않은 테이블의 데이터 합계를 반환 할 때 반복적 인 문제가 발생합니다. 내 총계에서 예상보다 훨씬 높은 위치 - 중첩되지 않은 행이 계산되는 것으로 의심되어 부정확 한 계산이 발생합니다. SELECT DATE, SUM(totals.transactions) FROM `PROJECTN

sql google-bigquery 2017-11-23

---

0열

1답변

BigQuery API 호출이 API 서비스 계정 키를 사용할 수 있습니까?

Google 클라우드에서 큰 쿼리 액세스 권한이있는 서비스 계정이 있습니다. bigquery API 요청 내에서 API 키를 사용하고 싶습니다. 이 작업을 수행 할 수 있습니까? 폴

google-bigquery google-apis-explorer 2017-11-23

---