apache-beam

0열

1답변

Apache Beam을 사용하여 스트리밍 BigQuery 테이블 위에 구현 한 작은 델타 작업에 이상한 문제가 있습니다. 데이터를 BigQuery 테이블에 스트리밍하고 매 시간마다 스트리밍 테이블의 새 레코드를 조정 된 테이블에 복사하는 작업을 실행합니다. 델타는 스트리밍 테이블에 도입 된 CreateDatetime 열 위에 구축됩니다. 레코드가 스트리밍

0열

1답변

BigQueryIO.write 작업의 성공/실패

BigQueryIO.write() 작업이 프로그램 내에서 성공적으로 완료되었는지 여부를 알 수있는 방법이 있습니까? WriteResult를 반환하지만 관련 메서드를 찾을 수 없습니다. 아니면 거기에 있습니까?

0열

2답변

Apache Beam Python 분할 문장을 모든 단어에 대한 키, 값 쌍으로 변환합니다.

문장과 그룹 (레이블) -> 키, 값 쌍이 시작될 (그룹, 문장) 데이터가 있습니다. 모든 문장의 모든 단어에 대해 (그룹, 단어) 쌍으로 끝나는 단어로 문장을 만듭니다. 파이프 라인 내에서이를 어떻게 수행 할 수 있습니까? 위의 예제는 단어 목록에 문장을 분할 않지만, 전체 목록은 단어와 결합되는이 테스트 예를 test_input = [{'group':

0열

1답변

클라우드 기능을 통해 여러 데이터 흐름 작업을 동기화 방식으로 트리거 하시겠습니까?

Google Dataflow Process에 Google Cloud 함수를 사용하여 하나씩 여러 템플릿을 트리거해야합니다. 하나의 템플릿을 실행 한 후에는 다른 템플릿을 호출해야합니다. const google = require('googleapis'); exports.goWithTheDataFlow = function(event, callback) {

0열

1답변

Google Cloud Dataflow 클라우드 저장소의 .txt 파일

beam.Filter의 일부로 사용될 단어 목록이 포함 된 .txt 파일이 GCS에 저장된 경우이 목록을 아파치 빔 파이프 라인에서 동적으로 액세스 할 수 있습니까? 이 목록을 파이프 라인 내에서 전역 변수로 정의 할 수는 있지만 전체 파일을 목록으로 읽는 방법과이 작업을 수행하는 데 필요한 빔 요령이 있는지는 잘 모르겠습니다. 어떤 제안? 당신은 side

2열

2답변

아파치 보에서 SpannerIO를 사용하는 중 오류가 발생했습니다.

이 질문은 후속 조치로 this one입니다. 아파치 빔을 사용하여 Google 스패너 테이블에서 데이터를 읽은 다음 데이터 처리를 수행하려고합니다. org.apache.beam.runners.direct : 나는 DirectRunner를 사용하여 코드를 실행하려고하면 package com.google.cloud.dataflow.examples; impo

0열

2답변

PCollection이 비어 있는지 확인하십시오 - Apache Beam

PCollection이 비어 있는지 확인할 방법이 있습니까? 데이터 흐름 및 Apache Beam 관련 문서를 찾지 못했습니다.

0열

1답변

GroupByKey가 빔 파이프 라인 복제 요소 (Google 데이터 흐름에서 실행될 때)에있는 이유는 무엇입니까?

배경 우리는 PubSub에서 파일 이름을 가진 메시지를 수신하여 시작하는 파이프 라인을 가지고 있습니다. 이러한 파일은 라인 수준으로 분해되어 JSON 객체 노드로 파싱 된 다음 외부 디코딩 서비스 (일부 인코딩 된 데이터를 디코딩 함)로 전송됩니다. 개체 노드는 결국 테이블 행으로 변환되고 큰 쿼리에 기록됩니다. 데이터 흐름이 PubSub 메시지를 디코딩

0열

1답변

단일 BigQuery 열 수정 및 새 테이블 작성

BigQuery에서 단일 열을 수정하고 직접 수동으로 다른 열을 모두 유지하지 않고도 새 테이블에 업데이트 된 데이터를 쓰고 싶습니다. 나는 다음과 같은 코드와 함께 할 싶은 것이 수행 할 수 있습니다 - 나는 100 + 열 (또는 정말 심지어 10 + 열을 한 경우 row = p | 'ReadFromBigQuery' >> beam.io.Read(beam.

0열

1답변

Dataflow 파이프 라인의 외부 Python 종속성

python 종속성을 Google 클라우드 데이터 흐름 파이프 라인에로드 할 수 있습니까? 나는 gensim's phrase modeler을 사용하여 데이터를 한 줄씩 읽으면 공통 문구/bigrams (자주 옆에 나타나는 두 단어)를 자동으로 검색합니다. 따라서 파이프 라인을 처음 실행하면 각 문장이이 구문 모델러에 전달됩니다. 파이프 라인을 통과 한 두