정확히 BigQueryIO.write() 연산 후 프로세스 실행

Question

싱크대로 BigQuery 테이블이있는 파이프 라인이 있습니다. BigQuery에 데이터를 기록한 후 몇 단계 만 수행하면됩니다. 이러한 단계에는 해당 테이블에 대한 쿼리 수행, 테이블에서 데이터 읽기 및 다른 테이블에 쓰기가 포함됩니다.

위 달성 방법은? 후자의 경우 다른 파이프 라인을 만들어야하지만 첫 번째 파이프 라인 이후에 호출하면 또 다른 문제가 될 것입니다.

위 작업 중 어느 것도 작동하지 않는 경우 실행중인 파이프 라인에서 다른 데이터 흐름 작업 (템플릿)을 호출 할 수 있습니까?

정말 도움이 필요합니다.

감사합니다.

Answer 1

현재 BigQueryIO에서 명시 적으로 지원하지 않습니다. 유일한 해결책은 별도의 파이프 라인을 사용하는 것입니다. 첫 번째 파이프 라인을 시작하고 완료 될 때까지 기다리십시오 (예 : pipeline.run().waitUntilFinish() 사용). 두 번째 파이프 라인을 시작하십시오. 동일한 파이프 라인을 여러 번 재사용하는 것은 별도의 파이프 라인 오브젝트를 사용해야합니다. 지원됨).