빔 파이프 라인에서 Google 클라우드 SQL Postgres 인스턴스에 연결

Google 데이터 흐름에서 실행중인 apache 빔 파이프 라인에서 google cloud sql postgres 인스턴스에 연결하려고합니다.
파이썬 SDK를 사용하여이 작업을 수행하고 싶습니다.
이에 대한 적절한 문서를 찾을 수 없습니다.
클라우드 SQL에서 안내하는 방법 dataflow에 대한 모든 문서를 볼 수 없습니다.
https://cloud.google.com/sql/docs/postgres/빔 파이프 라인에서 Google 클라우드 SQL Postgres 인스턴스에 연결

문서 링크/github 예제를 제공 할 수 있습니까?

출처

2017-11-06 s28

Java SDK에는 표준 Java JDBC 메커니즘을 통해 액세스 할 수있는 데이터베이스에 연결할 수있는 JdbcIO이 포함되어 있습니다. 현재 Beam Python SDK에는 아날로그가 없습니다. 만약 그렇다면, 파이썬 DB-API를 사용하고 있다고 생각합니다. a feature request 파일 또는 기여 주시기 바랍니다 - 개발에 매우 간단해야하지만 자바 SDK를 사용하여 연결을 시도하고 @jkff

출처

2017-11-06 23:55:02 jkff

감사합니다 :) 매우 유용합니다 (예를 들어, 소스 자바 JdbcIO의 코드를 흉내). 프록시를 사용하고 로컬에서 pipline을 실행하여 postgres 인스턴스에 연결할 수 있습니다. 그러나 데이터 흐름에 배포 한 후에 빔 파이프 라인이 직접적으로 클라우드 SQL Postgres에 연결할 수있는 방법이 있습니다. https://cloud.google.com/appengine/docs/flexible/java/using-cloud-sql-postgres 에 나와있는 단계를 따라했지만 Google에 알 수없는 호스트를 제공하고 있습니다. 데이터 흐름을 postgres cloud sql에 연결하기위한 설명서를 가르쳐 주시겠습니까? – s28

로컬로 작동하는 동일한 파이프 라인을 가져 와서 데이터 흐름에서 실행하려고 시도 할 때 잘못된 점에 대한 세부 정보가 포함 된 새로운 질문을 게시 할 수 있습니까? – jkff

빔 파이프 라인에서 Google 클라우드 SQL Postgres 인스턴스에 연결

답변

관련 문제