apache-beam

4열

3답변

현재 Apache Beam을 사용하여 파이썬에서 gzip 파일을 읽을 수 있습니까? 내 파이프 라인이 코드 라인 GCS에서 GZIP 파일을 당기고 : beam.io.Read(beam.io.TextFileSource('gs://bucket/file.gz', compression_type='GZIP')) 그러나 나는이 오류가 무엇입니까 : 우리는 파일을 압

1열

1답변

데이터 흐름 프로세스가 실패시 복구되지 않았습니다.

전체 AZ가 정전으로 손실 된 최근 사건에 이어 Dataflow 장애 조치 절차를 더 잘 이해하고 싶습니다. 데이터 흐름 작업 (Streaming, PubSub to BigQuery)의 작업자 노드를 수동으로 삭제하면 데이터 흐름 프로세스 자체가 복구되지 않았지만 성공적으로 다시 작성/다시 시작되었습니다. 모든 상태가 정상이지만 데이터 항목이 흐르지 않았습

5열

1답변

Cloud Dataflow에서 Beam SDK 사용하기

현재 GCP에서 데이터 흐름 작업을 실행하기 위해 Google의 Cloud Dataflow SDK (1.6.0)를 사용하고 있지만 Apache Beam SDK (0.1.0)로 옮길 계획입니다. 우리는 여전히 데이터 흐름 서비스를 사용하여 GCP에서 업무를 수행 할 것입니다. 이 전환 과정을 겪고 조언을 얻은 사람이 있습니까? 여기에 호환성 문제가 있습니까?

0열

1답변

Apache Beam의 데이터 흐름 SDK를 사용하여 BigTable에 쓸 때 NullPointerException이 걸렸습니다

Apache's Beam sdk 버전 0.2.0-incubating-SNAPSHOT 을 사용하고 Dataflow 러너로 bigtable로 데이터를 가져 오려고합니다. 불행히도 내 데이터 흐름 파이프 라인을 실행할 때 NullPointerException을 얻는 중입니다. 내 싱크대로 BigTableIO.Write을 사용하고 있습니다. 이미 내 Bigtabl

1열

1답변

데이터 흐름 표시 데이터가 복합 변환에서 누락되었습니다.

데이터 흐름에 새로운 display data 기능이 추가되어 Google Cloud Dataflow UI에 추가 세부 정보가 표시됩니다. 그러나 사용자 정의 PTransform의 디스플레이 데이터가 표시되지 않습니다. 나는 데이터 흐름 작업을 실행하면 Pipeline p = // .. p.apply(new PTransform<PCollection<Inte

1열

1답변

python apache beam에서 정의 된 파일 목록을 제외한 모든 파일을 읽을 수있는 방법이 있습니까?

나의 사용 사례는 지속적으로 새 파일로 업데이트되는 버킷의 파일을 일괄 처리한다는 것입니다. 이미 처리 된 CSV 파일을 처리하고 싶지 않습니다. 할 방법이 있습니까? 내가 생각했던 잠재적 해결책 중 하나는 처리 된 파일 목록을 유지 관리하는 텍스트 파일을 만든 다음 처리 된 목록의 파일을 제외한 모든 CSV 파일을 읽는 것입니다. 그게 가능하니? 또는 특

3열

1답변

ParDo 함수 내에서 BigQuery에 쓰기

beam.io.Write(beam.io.BigQuerySink(..)) 작업을 ParDo 함수 내에서 호출하여 PCollection에있는 각 키에 대해 별도의 BigQuery 테이블을 생성하고 싶습니다. (저는 파이썬 SDK를 사용하고 있습니다). 다음은 불행히도 도움이되지 않았다 두 개의 유사한 스레드입니다 : 1) https://stackoverflow

0열

1답변

Google 데이터 흐름에 맞춤 WindowFn을 만드는 방법

다른 입력란의 입력 타임 스탬프 대신 다른 입력란을 기반으로 입력 요소에 Windows를 할당하는 것과 같은 방법으로 다른 WindowFn을 생성하고 싶습니다. Google DataFlow SDK의 미리 정의 된 WindowFn은 타임 스탬프를 기준으로 사용하여 창을 할당합니다. 더 구체적으로는 SlidingWindows의 종류를 만들고 싶습니다. 대신 창

3열

2답변

어떻게 파이썬 아파치 빔 창에서 요소를 주문할 수 있습니까?

자바 아파치 빔에 groupby.sortbytimestamp 클래스가 있다는 것을 알게되었습니다. 파이썬에는 아직 구현 된 기능이 있습니까? 그렇지 않은 경우 창에서 요소를 정렬하는 방법은 무엇입니까? DoFn에서 전체 창을 정렬 할 수 있다고 생각하지만, 더 좋은 방법이 있는지 알고 싶습니다.