apache-beam

0열

1답변

가정하자 PCollection의 P1을 갖는다 {1,2,3} PCollection의 P2는 {A, B, C} I 쌍을 갖는다 PCollection를 생성하고자했다 p1과 p2는 {A, 1}, {B, 2}, {C, 3} 과 같은 도움이됩니다. 감사합니다, K

0열

1답변

적용 체인화 반환 형식은

누군가가 나에게 다음 코드 줄을 설명해 주시겠습니까 컴파일 시간에 결정 보인다. 파이프 라인의 Apply 메소드는 T extends POutput을 반환합니다. 인터페이스 POutput에 적용 메소드가 없습니다. 이 경우 TextIO.read(). from (...)가 PCollection을 POutput으로 반환하고 THAT에 apply 메소드가 있습니다

1열

1답변

BigQueryIO withTemplateCompatibility를 사용하여 성능 읽기

Apache Beam 2.1.0은 BigQuery에서 읽은 템플릿 파이프 라인에 버그가있어 한 번만 실행할 수있었습니다. 자세한 내용은 여기 https://issues.apache.org/jira/browse/BEAM-2058 이 빔 2.2.0의 출시와 함께 수정되었습니다, 당신은 지금 withTemplateCompatibility 옵션을 사용하여 BigQ

0열

1답변

에 걸쳐 중복 제거하는 방법 오버 랩핑/흐름 아파치 빔 슬라이딩 윈도우를

I가 다음과 같은 요구 사항 : 지속 시간 30 분, 기간 1 분의 창을 술집 하위 항목에서 읽기 이벤트 주어진 ID에 대해 3 개의 이벤트가 일치하면 일부 술어와 일치하는 경우 다른 게시자 하위 주제에서 이벤트를 발생시켜야합니다. 그룹화를 위해 세 번째 이벤트가 발생하면 이벤트가 발생해야합니다 이 ID는 사기 행위를 탐지하기위한 것입니다. 내가 창 당 여

1열

1답변

Google Cloud Dataflow Worker 스레딩

4 개의 CPU 코어가있는 작업자가 한 명 있다고 가정 해 보겠습니다. 데이터 흐름 작업자 컴퓨터에서 병렬 처리는 어떻게 구성됩니까? 우리는 코어 수 이상으로 병렬화합니까? 이러한 정보 유형은 어디에 있습니까?

0열

1답변

아파치 빔 : 제한없는 출처의 배치 파이프

현재 아파치 빔을 사용하여 실시간 데이터를 처리하고 있습니다. 데이터는 무제한 인 Google PubSub에서 제공되므로 현재는 스트리밍 파이프 라인을 사용하고 있습니다. 그러나 스트리밍 파이프 라인을 연중 무휴 운영하는 것은 비용이 많이 든다는 사실이 밝혀졌습니다. 비용을 줄이기 위해 일정 시간 간격 (예 : 매 30 분마다)으로 실행되는 일괄 처리 파이

0열

1답변

Apache Beam/Dataflow의 여러 파일에 걸친 파이프 라인 코드

오랜 검색 후에 여러 파일에 걸쳐있는 Dataflow/Beam 파이프 라인 예제를 찾지 못했습니다. 빔 문서는 suggest a file structure ("다중 파일 종속성"섹션 아래)에서 제공하지만 줄리엣 예제는 사실상 a single code/source 파일 (그리고이 파일을 호출하는 main file)에 있습니다. juliaset/__init__

0열

1답변

Apache Beam/Google Dataflow에서 ParseJsons를 사용하는 방법?

java newbie 여기에 있습니다. 내 Apache Beam 파이프 라인에서 ParseJsons을 사용하여 문자열 PCollection을 객체 PCollection으로 구문 분석하는 방법을 이해하는 데 어려움을 겪고 있습니다. 제 생각에 json 구조와 일치하는 클래스를 먼저 정의한 다음 ParseJsons를 사용하여 json 문자열을 해당 클래스의 개

0열

1답변

형식을 포함하는 PCollection을 변환 할 수 없습니다. Map - "잘못된 인수 수"

Parado와 함께 Apache 빔에서 Map 개체의 PCollection에 변환을 적용하려고합니다. 첫 번째 DoFn의 출력 유형으로 Map을 지정하고 다음 DoFn의 입력 유형으로 Map을 지정했습니다. 그러나, 나는 다음과 같은 오류를 받고 있어요 : [ERROR] Failed to execute goal org.codehaus.mojo:exec-ma

0열

1답변

타임 스탬프 열에 연도 <1900

이 포함되어있을 때 BigQuery에서 데이터를 읽을 수 없습니다. 최신 Apache Beam SDK for Python 2.2.0을 사용하여 정의 된 파이프 라인에서 BigQuery 테이블을 읽고 쓰는 간단한 파이프 라인을 실행할 때이 오류가 발생합니다. 연도가 < 인 타임 스탬프가 몇 행에 있으므로 읽기 작업이 실패합니다. 이 dataflow_worke