apache-beam

4열

1답변

데이터 흐름으로 AfterProcessingTime.pastFirstElementInPane()이 작동하는 방식은 무엇입니까?

데이터 흐름 스트리밍 환경. 내가 말할 나의 이해는 : Window.into(FixedWindows.of(Duration.standardHours(1))) .triggering(AfterProcessingTime.pastFirstElementInPane() .plusDelayOf(Duration.standardMinutes(15))

1열

1답변

Apache Beam의 SparkRunner에 대한 Python 지원

Apache beam과 SparkRunner를 사용하여 파이썬 프로그램을 실행할 수 있습니까? https://beam.apache.org/get-started/wordcount-example/#apache-spark-runner 을 그리고 난 API 참조 https://beam.apache.org/documentation/sdks/pydoc/0.6.0/ap

0열

1답변

데이터 흐름 쪽 입력으로 큰 numpy 행렬

파이썬에서 데이터 흐름 파이프 라인을 작성하려고합니다. 많은 양의 행렬이 측면 입력으로 필요합니다. 행렬은 클라우드 저장소에 저장됩니다. 이상적으로 각 데이터 흐름 작업자는 클라우드 저장소에서 직접 행렬을로드합니다. 나의 이해는 그 내가 matrix = np.load(LOCAL_PATH_TO_MATRIX) 다음 p | "computation" >> beam

4열

1답변

Apache Beam 및 CombineFn의 코더 문제

Apache Beam과 DirectRunner을 러너로 사용하여 파이프 라인을 구축하고 있습니다. Google 클라우드 팝/하위에서 풀 데이터의 고정 창을 사용하여 자바 객체로 윈도우 이벤트를 역 직렬화를 (현재 로컬로 실행하는 에뮬레이터를 사용하여) : 우리는 현재 우리가 이에 간단한 파이프 라인을 시도하고있다 1 분 이벤트를 이벤트 목록으로 변환하는 사

4열

1답변

아파치 빔 윈도우 - 고정 윈도우 닫지 않는 것 같습니까?

Apache 빔 파이프 라인에서 고정 창을 사용하려고합니다 (DirectRunner 사용). 다음과 같이 우리의 흐름은 다음과 같습니다 하위 술집에서 풀 데이터를/ , 각각의 창을 결합하여 직렬화 JSON 자바 객체로 윈도우 이벤트 사용자 정의 CombineFn을 사용하여 오초 의 고정 창 승/ 테스트를 위하여를 들어 List<Event> 에 Event S

2열

2답변

ImportError : options.value_provider 모듈이 없습니다.

다음 파이프 라인은 DirectRunner와 작동하지만 DataflowRunner에서는 예외가 발생합니다. 어떻게 이러한 오류를 디버깅합니까? 이것은 나에게 꽤 불투명 한 것처럼 보입니다. p = beam.Pipeline("DataflowRunner", argv=[ '--project', project, '--staging_location

3열

2답변

options.pipeline_options 모듈이 없습니다

아파치 빔 문서의 초기 가이드에서 방금 시작한이 파이프 라인 가져 오기는 더 이상 사용할 수 없습니다. apache_beam.options.pipeline_options 수입 PipelineOptions에서 참조 : https://beam.apache.org/documentation/programming-guide/#pipeline 오류 : ImportEr

-1열

1답변

아파치 빔은 고유 한 러너를 가지고 있습니까? 아니면 스파크 등 다른 API를 통해 빌드되어 있습니까?

아파치 빔은 고유 한 러너를 가지고 있습니까? 아니면 스파크와 같은 다른 API를 통해 빌드되어 있습니까? 빔이 아파치 스파크 (Apache Spark)에 대한 포장지인가?

1열

2답변

Apache Beam을 사용하여 Hive에서 읽는 방법은 무엇입니까?

Apache Beam을 사용하여 Hive를 읽는 방법/Apache Beam에서 Hive를 소스로 사용하는 방법은 무엇입니까?

2열

1답변

메시지가 손실되어 GCP Pubsub에서 중복 됨

데이터 흐름에서 GCP PubSub를 읽는 중 문제가 발생합니다. 짧은 시간에 많은 양의 메시지를 게시 할 경우 일부 메시지가 손실된다는 점을 제외하고는 데이터 흐름이 대부분의 보낸 메시지를 받게됩니다. , 다른 메시지가 중복 될 수 있습니다. 그리고 가장 이상한 부분은 손실 된 메시지의 수가 중복되는 메시지의 수와 정확히 동일하다는 것입니다. 예제 중 하