apache-beam

2열

1답변

I 1 개 메인 출력과 1 sideoutput 갖는다 아파치 빔 함께 파르 기능 테스트 유닛 해요 : I 주 검사하기위한 유닛 테스트 클래스를 설정 public class GetPubsubMessageDoFn extends DoFn<PubsubMessage, PubsubPayload.PubsubPayloadDTO> { @ProcessElement

0열

1답변

Apache 빔 PubSubIO 쓰기

Apache Beam JavaSDK를 사용하여 PubSub에 쓸 수 없습니다. 빔을 사용하여 PubSub에서 읽고 처리하고 PubSub 항목에 데이터를 쓰려고하는데 PubSub에 쓰는 방법에 대한 작업 예제를 찾을 수 없습니다. 누군가 PubSub 주제에 글을 쓰는 데 적합한 변형을 도울 수 있습니까? .apply("Create pubsub messages

0열

1답변

Apache Beam을 사용하여 로그 파일 생성

Apache Beam을 사용하여 로그 파일을 작성하는 방법을 알려주십시오. 현재 Apex 러너를 사용하고 있으며 콘솔에서만 로그를 생성 할 수있었습니다.

19열

1답변

아파치 빔에서 장기간에 걸친 비정규 화 조인을 어떻게 표현합니까?

문맥에서 나는 결코 빔을 사용하지 않았습니다. 일반적인 사용 사례에 Beam 모델을 적용하는 방법을 이해하려고합니다. 무제한 제품 컬렉션과 각 제품에 생산자가 하나씩있는 무제한 제품 컬렉션이 있다고 가정하십시오. 또한 귀하는 제품의 생산자가 제품 이전 (또는 직후)에 나타나는 추가 재산을 보유합니다. 그러나 프로듀서는 제품보다 몇 년 전에 나타날 수 있습니

0열

1답변

데이터 흐름 API를 사용하여 시작하는 동안 템플릿에 매개 변수 전달

App Engine 데이터 흐름 작업에서 데이터 흐름 API를 실행하는 동안 매개 변수를 템플릿에 전달해야합니다. 내 코드에서 com.google.api.services.dataflow.Dataflow.Projects.Locations.Templates.Launch request1 = dataflowService.projects().locati

1열

2답변

Google Cloud DataFlow 작업의 GCS에서 BLOB (피클) 파일을 읽는 방법?

피클 파일을 사용할 DataFlow 파이프 라인을 원격으로 실행하려고합니다. 로컬에서는 아래 코드를 사용하여 파일을 호출 할 수 있습니다. IOError: [Errno 2] No such file or directory: 'gs://.../.pkl' 내가 가지가 작동하지 않는 이유를 이해하지만 난 할 수 없습니다 : (: ... // GS) 경로가 클라

0열

2답변

BigQueryIO.Write 코드 아래

내가 The method apply(PTransform<? super PCollection<TableRow>,OutputT>) in the type PCollection<TableRow> is not applicable for the arguments (BigQueryIO.Write<Object>) Release notes은 여기 도움말 및 설명서의 많

0열

1답변

HDFS에서 파일 쓰기 - TextIO API 사용 Java - BufferedWriter (new FileWriter())

우리는 모든 직원 ID마다 파일을 만들어야한다는 요구 사항이 있습니다. groupbyKey 기능을 사용하여 데이터 구조를 만들 수있었습니다. < ID, Iterable < Employee Objects> 여기서 Iterable < Employee>를 List로 변환했습니다. 그런 다음 직원 ID에 대한 폴더와 파일을 만들었습니다. 그래서 < Employee

0열

1답변

java.lang.NoClassDefFoundError가 : 조직/아파치/빔/SDK/러너/PipelineRunner 흐름 2.X에

얻기 런타임 오류 마이그레이션 후 : 내 pom.xml 파일에 아래에도 불구하고 "java.lang.NoClassDefFoundError: org/apache/beam/sdk/runners/PipelineRunner" 을 <dependency> <groupId>com.google.cloud.dataflow</groupId> <art

0열

1답변

PubSub에서 읽고 데이터를 Google Cloud Storage에 쓰는 데이터 흐름 작업

고정 된 수의 문자열 (테스트에 사용 된 800,000 개의 1KB)을 PubSub 항목에 넣고 다음 Apache Beam (2.1.0) 작업을에서 실행하는 경우 정확히 한 번 데이터 흐름은 예상대로 보존됩니다. (데이터 흐름 콘솔에서와 같이), 그리고 다시 출력 파일을 쫓겨 같은 작업이 실행되는 경우, 모든 요소 전에 배수 import org.apache