apache-beam

0열

1답변

Spotify Scio (아파치 빔에 대한 스칼라 래퍼)로 XML 파일 처리하기

아파치 빔 java sdk는 org.apache.beam.sdk.io.xml.XmlIO (2.1.0 버전을 보았다)와 함께 큰 XML 입력 파일 읽기를 지원한다. Scio가 동일한 작업을 수행 할 수 있는지 또는 예제가 있습니까? 처리하고 싶은 매우 큰 xml 파일 세트가 있습니다.

0열

1답변

정확히 BigQueryIO.write() 연산 후 프로세스 실행

싱크대로 BigQuery 테이블이있는 파이프 라인이 있습니다. BigQuery에 데이터를 기록한 후 몇 단계 만 수행하면됩니다. 이러한 단계에는 해당 테이블에 대한 쿼리 수행, 테이블에서 데이터 읽기 및 다른 테이블에 쓰기가 포함됩니다. 위 달성 방법은? 후자의 경우 다른 파이프 라인을 만들어야하지만 첫 번째 파이프 라인 이후에 호출하면 또 다른 문제가 될

0열

1답변

Dataflow에서 일반 클래스를 전달하는 중

Dataflow의 Apache Beam 버전을 사용하고 있으며 제네릭 클래스를 출력하는 PTransform을 만들려고 할 때 현재 문제가 발생하고 있습니다. 다음은 유형을 반복적으로 출력하는 이러한 변환의 최소 예입니다. public class BadTransform extends PTransform<PCollection<Result>, PColl

0열

2답변

google-dataflow 용 템플릿에 런타임 입력을 어떻게 제공합니까?

나는 끝점을 통해 Google 데이터 흐름 템플릿을 실행하고 있습니다. 이제이 끝점을 통해 데이터 흐름 템플릿에 일부 입력을 전달하려고합니다. 이러한 입력은 예를 들어 출력 파일의 이름과 같이 사용자 정의됩니다. 나는 valueProviders를 둘러 보았는데, 이런 맥락에서 도움이 되었습니까?

0열

1답변

google dataflow 스패너에서 읽음

Google 스패너 데이터베이스에서 테이블을 읽으려고하고 텍스트 파일에 쓰기 위해 python SDK와 함께 google dataflow를 사용하여 백업합니다. from __future__ import absolute_import import argparse import itertools import logging import re import

1열

1답변

Apache Beam 윈도우 및 샤딩 BigQuery 출력 테이블

사용 사례는 Pub/Sub 구독에서 이벤트 로그를 읽고 구문 분석하고 BigQuery에 저장하는 간단한 방법입니다. 이벤트의 수가 크게 늘어날 것으로 예상되고 제한되지 않은 데이터 소스로 작업하기 때문에 BigQuery에서 샤딩을 구성하기로 결정했습니다. 이벤트 데이터의 타임 스탬프 (Beam 설명서에서 "이벤트 시간"이라고 함)를 기반으로 일별 테이블에

0열

1답변

Apache Beam 로컬 파이썬 종속성

DataFlow Runner와 함께 Apache Beam 파이프 라인 내부에서 사용하려는 로컬 Python 패키지가 있습니다. https://beam.apache.org/documentation/sdks/python-pipeline-dependencies/ (섹션 로컬 또는 비 PyPI 종속성) 문서에 제공된 지침을 따르려고했으나 성공하지 못했습니다. so

0열

1답변

GCP 데이터 흐름 - 저장소의 CSV 파일을 읽고 BigQuery에 쓰기

저장소에 CSV 파일이 있으며이를 읽고 BigQuery 테이블에 기록하고 싶습니다. 이 내 코드입니다 GroupName,Groupcode,GroupOwner,GroupCategoryID System Administrators,sysadmin,13456,100 Independence High Teachers,HS Teachers,,101 John Gle

0열

1답변

BigQuery에서 읽는 MinimalWordCount 예제를 수정하십시오.

Apache Beam의 MinimalWordCount python 예제를 수정하여 BigQuery 테이블에서 읽으려고합니다. 나는 다음과 같은 수정을했고 쿼리가 작동하지만 예제가있는 것처럼 보입니다. 여기 원래 예 : 나는 BigQuery에서 테이블의 열에서 읽는이를 조정하려고 with beam.Pipeline(options=pipeline_options)

1열

1답변

문자열의 PCollection을 TableRow로 변환하는 방법?

PubSub 메시지를 받아 BigQuery에 쓰는 매우 간단한 빔 파이프 라인을 만들려고합니다. 메시지는 문자열로 전달되며,이를 BigQuery에 쓰려면 TableRow로 변환해야합니다. 나는 내 삶을 위해 쉬운 방법을 찾을 수 없다. 내 테이블은이 시점에서 단 하나의 컬럼입니다. 어떤 추천?