apache-beam

0열

1답변

) 빔 google 데이터 흐름 파이프 라인 예제 중 하나를 시도하고 있지만 MapElements 및 메소드 SingleFunction/SerializableFunction 호출과 관련하여 예외가 발생합니다. 코드 조각은 다음과 같다 : 점에서 static class ParseTableRowJson extends SimpleFunction<String, T

0열

1답변

파이프 라인에 신호가 원활하게 전달되도록

빔 2.3.0으로 작업 중입니다. 필자는 이틀 동안 DirectRunner로 정상적으로 pipline을 종료하는 방법을 조사했습니다. blockOnRun을 false로 설정하고 cancel을 호출하면 파이프 라인이 종료되고 데이터가 손실 될 수 있습니다. 파이프 라인을 먼저 배수하면 데이터 흐름 러너처럼 파이프를 배수 할 수 있는지 궁금합니다.

0열

1답변

Dataflow/Beam with Python

데이터 흐름/빔에서 Python SDK를 사용하여 PCollection에있는 항목의 샘플을 가져 오려고합니다. 설명되어 있지는 않지만 Sample.FixedSizeGlobally(n)이 있습니다. 테스트, 그것은 는 단일 항목과 PCollection에게 돌아 보인다 때 : 오히려 샘플과 PCollection보다, 샘플을 포함하는 목록을. 그 맞습니까? 이

0열

1답변

TextIO를 사용하여 Mapr 파일 읽기

hadoop 폴더에 넣은 파일로 TextIO.Read를 사용하여 Mapr 파일을 읽을 수 있으며 hadoop 폴더에 파일을 쓸 수 있습니다. Mapr 파일은 HDFS를 기반으로하기 때문에 org.apache.beam.sdk.io.hdfs를 사용해야하는지 잘 모르겠습니다. 감사합니다.

0열

1답변

빔 파이프 라인에서 Google 클라우드 SQL Postgres 인스턴스에 연결

Google 데이터 흐름에서 실행중인 apache 빔 파이프 라인에서 google cloud sql postgres 인스턴스에 연결하려고합니다. 파이썬 SDK를 사용하여이 작업을 수행하고 싶습니다. 이에 대한 적절한 문서를 찾을 수 없습니다. 클라우드 SQL에서 안내하는 방법 dataflow에 대한 모든 문서를 볼 수 없습니다. https://cloud.g

0열

1답변

Apache 빔 : 여러 구독에서 읽기

여러 구독을 수신하고 BigQuery에 쓰는 데이터 흐름을 만들고 싶습니다. Google의 documentation에 따라 여러 PCollection 개의 개체를 읽고 조합 할 수 있습니다. 그러나 PubsubIO.Read의 javadoc here을 보면 은 subscription 메서드에서만 허용됩니다. 따라서 여러 구독에서 읽으려면 subscriptio

0열

1답변

DirectRunner를 사용할 때 Apache Beam GroupByKey가 실행되지 않습니다.

제목이 거의 전부입니다. 창 너비를 얼마나 짧게 설정했는지 상관없이 DirectRunner에서 작업을 실행할 때 GroupByKey이 실행되지 않습니다. DataflowRunner를 사용할 때 예상대로 작동합니다.

0열

1답변

PubSub이 종속성 일 때 Apache 빔이 Jetty를 throw합니다.

google-cloud-pubsub (필자의 경우 0.21.1-beta) 종속성 인 경우 Apache Beam이 Jetty ALPN/NPN has not been properly configured 오류를 발생시키는 것을 관찰했습니다. 이 문제를 해결하려면 google-cloud-pubsub을 제거하지 않아도됩니다. 아파치 빔 버전 -

0열

1답변

AvroIO 클래스를 사용하여 런타임 값 읽기

스키마 및 파일 경로를 동적으로 전달하여 AvroIO를 사용하여 Apache Beam에서 AVRO 파일을 읽어야합니다. ValueProvider 또는 측면 입력 또는 AvroIO.read에 다른 것을 전달할 수있는 방법이 있습니까? PCollection<GenericRecord> records =p.apply(AvroIO.readGenericRecords(

0열

1답변

Apache Beam에서 BigQueryIO에 대한 스키마 업데이트 옵션 지정

Apache Beam에서 BigQueryIO의 스키마 옵션을 지정할 수 있습니까? JobConfigurationLoad loadConfig = new JobConfigurationLoad(); .. loadConfig.setSchemaUpdateOptions(Arrays.asList("ALLOW_FIELD_ADDITION", "ALLOW_FIELD_RE