google-bigquery

0열

1답변

Cloud Storage에서 데이터를로드하는 중 BigQuery 오류가 발생했습니다.

Cloud Storage JSON에서 BigQuery에 데이터를로드하려고합니다. BigQuery API를 사용합니다. 이 내가 가진 오류입니다 : TypeError: unbound method to_api_repr() must be called with LoadJobConfig instance as first argument (got nothing inst

4열

2답변

마침표 사용 중 "." BigQuery의 표준 SQL에서

BigQuery Standard SQL이 마침표를 허용하지 않는 것 같습니다. " select 문에서. 간단한 쿼리 (아래 참조)조차도 실패한 것 같습니다. 이것은 "."을 포함하는 필드 이름을 가진 데이터 세트의 경우 큰 문제입니다. 이 문제를 피할 수있는 쉬운 방법이 있습니까? select id, time_ts as time.ts from `bigque

0열

2답변

어떻게 매우 저렴, 우리는이 쿼리를 사용하여 테이블이 존재하는 경우

가 확인하려면 확인 ? where 절에서 _PARTITIONTIME을 사용하여 select를 사용할 수 있지만 limit 절에 관계없이 파티션에있는 모든 데이터 (존재하는 경우)를 처리하게됩니다. 나는 많은 파티션의 존재에 대한 점검을 수행해야하며 쿼리의 형태이고 API 요청이 아니어야한다. 여러 번 실행될 수있는 cronjob이 있지만 비어있는 경우에만

0열

1답변

BigQuery 주어진 쿼리의 행 수 출력

BigQuery (레거시 SQL)에서 쿼리를 실행 한 후 여러 유형의 출력을 계산하고 싶습니다. 예를 들어 다양한 유형의 html 상태 코드가있는 표가 있습니다. 나는이 쿼리를 실행할 때 그것은 다음과 같습니다 SELECT status, COUNT(status) FROM [app_logs] WHERE status >='300' AND DATE(CAST(st

0열

1답변

아파치 빔 KafkaIO 외부 데이터 저장소에 대한 오프셋 관리

아파치 빔에 KafkaIO를 사용하여 여러 카프카 브로커에서 읽으려고합니다. 오프셋 관리의 기본 옵션은 kafka 파티션 자체입니다 (더 이상 kafka> 0.9에서 동물원을 사용하지 않음). 이 설정으로 작업/파이프 라인을 다시 시작할 때 중복 된 레코드 누락과 관련된 문제가 있습니다. 내가 읽은 바로는이를 처리하는 가장 좋은 방법은 외부 데이터 저장소에

0열

1답변

BigQuery에서 와일드 카드 테이블 쿼리 속도를 높이려면 어떻게해야합니까?

내가이 쿼리 실행 : 나는를했습니다 : 전체 SELECT _TABLE_SUFFIX table_id FROM `mydataset.*` WHERE _PARTITIONTIME = TIMESTAMP("2017-12-26") GROUP BY table_id 쿼리 (71.0s 경과, 0 B 처리) 여기 는 실행 계획입니다

1열

1답변

Google BQ : 매개 변수 변수가 BQ 테이블 대상 인 매개 변수가있는 쿼리 실행

BQ 테이블 대상에 대해 Linux 명령 줄에서 SQL을 실행하려고합니다. 이 SQL 스크립트는 여러 날짜, 클라이언트 및 BQ 테이블 대상에 사용되므로 내 BQ API 명령 줄 호출 (플래그 - 매개 변수)에서 매개 변수를 사용해야합니다. 이제이 링크를 따라 매개 변수가있는 쿼리에 대해 알아 보았습니다 : https://cloud.google.com/bi

0열

1답변

BigQueryIO.With가 던진 예외를 잡아 내고 출력에 실패한 데이터를 구하는 방법은 무엇입니까?

Cloud Pub/Sub에서 데이터를 읽고 Cloud Dataflow로 BigQuery에 쓰기를 원합니다. 각 데이터에는 데이터 자체가 저장 될 테이블 ID가 들어 있습니다. 테이블 ID 형식이 잘못 : 는 BigQuery를 쓰기에 실패하는 것이 여러 요인이 있습니다. 데이터 집합이 존재하지 않습니다. 데이터 집합에서 파이프 라인에 액세스 할 수 없습니다.

0열

1답변

사용자 지정 차원을 사용하여 Google Big Query를 사용하여 새로운 사용자 수 및 사용자 수를 얻으십시오.

맞춤 측정 기준 값 및 날짜를 기준으로 자격이있는 신규 사용자 및 사용자 수를 얻으려고합니다. 여기에 코드가 있습니다. 하지만 Google 애널리틱스에서 데이터를 가져올 수 없습니다. 문제는 UNNEST가 중복을 작성하고 total.newVisits가 다른 입도에 있다고 생각합니다. 고맙습니다! SELECT PARSE_DATE('%Y%m%d'

1열

1답변

SQL을 이용한 구글의 빅 쿼리 : 배정 된 사람이 여러 명일 경우 배정 된 사람과 조화 된 배정 된 사람 이름을 연결하십시오.

내 목표는 하나의 행이있는 표준 SQL을 사용하여 Google의 Big Query patents-public-data.patents.publications_201710 테이블에서 테이블을 만드는 것입니다. publication_number의 경우 assignee 및 assignee_harmonized.name 여기서 배부 번호가 여러 개인 레코드에 대해 p