apache-beam-io

0열

1답변

Apache Beam의 데이터 흐름 SDK를 사용하여 BigTable에 쓸 때 NullPointerException이 걸렸습니다

Apache's Beam sdk 버전 0.2.0-incubating-SNAPSHOT 을 사용하고 Dataflow 러너로 bigtable로 데이터를 가져 오려고합니다. 불행히도 내 데이터 흐름 파이프 라인을 실행할 때 NullPointerException을 얻는 중입니다. 내 싱크대로 BigTableIO.Write을 사용하고 있습니다. 이미 내 Bigtabl

1열

2답변

JDBC Beam을 사용하여 Oracle에서 가져 오기

아래 프로그램은 Oracle 11g에 연결하여 레코드를 가져 오는 것입니다. 어떻게 pipeline.apply()에서 코더에 대해 NullPointerException을 주는지. ojdbc14.jar를 프로젝트 종속성에 추가했습니다. public static void main(String[] args) { Pipeline p = Pipeline

0열

1답변

MySQL을 입력 소스로 사용하고 Google BigQuery로 작성하기

JDBC를 사용하는 MySQL 소스에서 읽는 Apache Beam 태스크가 있으며, BigQuery 테이블에있는 그대로 데이터를 작성해야합니다. 이 시점에서 변환은 수행되지 않습니다. 나중에 데이터베이스 출력을 BigQuery에 직접 작성하기를 원합니다. 이 주요 방법은이 작업을 수행하려고 : public static void main(String[] ar

1열

1답변

wordcount 예제를 실행할 때 Apache Beam 예외

문서의 단계를 따라 갔지만이 예외가 계속 발생했다고 생각합니다. (이클립스 J2EE에서 실행하는 유일한 차이점은, 실제로는 그렇지 않겠습니까?) 코드 : 빔 프로젝트 예제에서 작성했습니다.). Google 클라우드 플랫폼 프로젝트를 지정하고 액세스 권한을 부여해야합니다. 그러나이 예제 프로젝트에서 설정을 수행하는 곳을 찾지 못했습니다. public stat

1열

1답변

Google Cloud Dataflow를 통해 Sharded (Dated) BigQuery 테이블에 작성/쓰기

스트리밍 모드 Dataflow 파이프 라인을 구성하여 각 윈도우를 별도의 BigQuery 테이블에 작성하고 필요한 경우 하나씩 생성하는 방법을 쉽게 이해할 수 있습니까? e.e. - table_20160701, table_20160702 등