apache-beam

1열

1답변

GAE Cronjob에서 실행되는 Apache Beam (Python) 트리거

내 이전 appengine-mapreduce 작업을 대체 할 때이 cron에서이 Python 데이터 흐름 작업을 트리거하는 방법이 필요합니다. 나는 https://cloud.google.com/blog/big-data/2016/04/scheduling-dataflow-pipelines-using-app-engine-cron-service-or-cloud-f

0열

2답변

요소 값을 기준으로 창 닫기

입력 요소의 플래그 값이 DoFn의 측면 출력에있을 때 창을 닫을 수 있습니까? 예 : 세션을 닫음을 나타내는 이벤트는 창을 닫습니다. 저는 문서를 읽었으며 트리거는 대부분 시간 기반입니다. 좋은 예가 될 것입니다. 편집 : Trigger.OnElementContext.forTrigger (ExecutableTrigger 트리거)는 유망한 것처럼 보이지만

1열

3답변

Maven 의존성이란 무엇입니까

Apache Beam Cookbook 예제를 실행하려고하는데 import 문이 있습니다. import org.apache.beam.sdk.io.gcp.bigquery.BigQueryIO; 내 이클립스 프로젝트에서 필요로하는 maven 종속성은 무엇인가? 문서를 찾을 수 없습니다. 감사합니다.

0열

1답변

Apache Beam count HBase 행 블록 및 반환하지 않음

Apache Beam을시 도하 고 HBase 테이블을 읽고 계산하는 데 사용해보십시오. Count.globally없이 테이블을 읽으려고하면 행을 읽을 수 있지만 행 수가 세어지면 프로세스가 중단되고 절대로 종료하지 않습니다. Pipeline p = Pipeline.create(options); p.apply("read", HBaseIO.read().wi

1열

1답변

빔 작업을 Spark에 균등하게 분배하는 방법은 무엇입니까?

텍스트 파일과 mysql 레코드를 모두 읽고 레코드를 읽는 간단한 파이프 라인을 가지고 있습니다. 즉, DB에 레코드가 없으면 레코드를 삽입하고 DB의 레코드를 파일로 업데이트하고 다른 업데이트를 수행합니다 파일에 존재하지 않는 DB의 레코드 이 내 직감은 다음과 같은 코드가 불균형 여기 final TupleTag<FileRecord> fileTag =

0열

1답변

GoogleCredentialas.getApplicationDefault NoSuchMethodError

I 클라우드에서 Bigtable V2 API를 사용하려고 그리고 난 내가 API를 사용하려고 할 때, 내 아파치 빔 작업에서 작동 알고 동안 직접 I이 오류가 발생할 수 : Caused by: java.lang.NoSuchMethodError: com.google.auth.oauth2.GoogleCredentials.getApplicationDefault(

0열

2답변

Dataflow/Beam에서 gcs로 JSON 파일에 결과를 작성하는 방법

파이썬 빔 SDK 0.6.0을 사용하고 있습니다. JSON에 Google Cloud Storage의 출력물을 작성하고 싶습니다. 이 작업을 수행하는 가장 좋은 방법은 무엇입니까? 나는 텍스트 입력 싱크에서 WriteToText을 사용할 수 있지만 그 다음에 별도로 각 행을 포맷해야합니까? 내 결과를 객체 목록이 포함 된 유효한 JSON 파일에 어떻게 저장합

5열

1답변

Apache Beam과 Apache Nifi의 차이점

Apache Beam과 Apache Nifi의 사용 사례는 무엇입니까? 둘 다 데이터 흐름 엔진 인 것 같습니다. 두 경우 모두 비슷한 사용 사례가있는 경우 두 가지 중 어느 것이 더 낫습니까?

0열

1답변

Apache Beam TextIO 와일드 카드 (로컬 파일)

아래 예외 상황에 따라 기본 라이브러리가 지원하지 않는 것으로 보아 와일드 카드 문자 "*"를 TextIO 및 로컬 파일과 사용할 수 없습니다. Google Cloud 스토리지 경로를 사용하면 코드가 와일드 카드로 잘 작동합니다. 와일드 카드를 어떤 방식으로도 탈출해야합니까? java.lang.reflect.InvocationTargetException

0열

1답변

Google 데이터 흐름 Windows간에 리소스 공유

현재 런타임시 여러 개의 큰 쿼리 테이블에 쓰는 Google 데이터 흐름 파이프 라인을 구축 중입니다. 현재 직면하고있는 문제는 대형 쿼리 서비스 인스턴스, 테이블 정보 등의 리소스를 다시 사용해야한다는 것입니다 (매번 이러한 리소스를 다시 만들고 싶지는 않습니다).하지만 캐시 할 수 없습니다. 효율적인 방법. 현재 (정적 동시 해시 맵을 사용하여) 캐시하