apache-beam

3열

1답변

Java Beam SDK를 사용하여 데이터 흐름 작업의 단계 세부 사항을 얻는 방법은 무엇입니까?

데이터 플로우 작업에 Java Beam SDK를 사용하고 있으며 com.google.api.services.dataflow.model.Job 클래스는 특정 작업에 대한 세부 정보를 제공합니다. 그러나 요소가 추가 등이 등 예상 크기, 데이터 플로우 단계 정보를 얻을 수있는 방법/속성을 제공하지 않습니다 아래 내가 작업의를 얻기 위해 사용하고 코드입니다 정보

0열

1답변

데이터 흐름 GroupBy -> 키 기반 다중 출력

그룹 키를 기반으로 GroupBy의 출력을 여러 출력 파일로 리디렉션 할 수있는 간단한 방법이 있습니까? Bin.apply(GroupByKey.<String, KV<Long,Iterable<TableRow>>>create()) .apply(ParDo.named("Print Bins").of(...) .apply(TextIO.Write.to(*Output

1열

1답변

BigQueryIO.write()를 수행하는 동안 BigQuery 작업 ID 가져 오기/설정

BigQuery JobID를 설정하거나 배치 파이프 라인이 실행되는 동안 가져올 수 있습니까? BigQuery API를 사용하여 가능하다는 것을 알고 있지만 Apache Beam에서 BigQueryIO를 사용하고 있다면 가능합니까? 로드가 완료되었음을 BigQuery에 기록한 후 확인을 보내야합니다.

0열

1답변

아파치 빔 - 다중 출력 태그와 DoFn에 코더를 추론 할 수 없습니다

제가 아파치 빔을 사용하여 파이프 라인을 실행하기 위해 노력하고 있지만, 일부 출력 태그를 넣어하려고 할 때 나는 오류가 발생 : import com.google.cloud.Tuple; import com.google.gson.Gson; import com.google.gson.reflect.TypeToken; import org.apache.beam

0열

1답변

데이터 흐름 작업이 붙어있다 및 데이터 흐름 작업 정보를 검색 할

마지막 3 시간에서 실행 : 작업 ID : 2017-10-17_22_03_20-14123260585966292858 작업 이름 : 제한 - 테스트 file12-1508302687176 배치 : 배치 시작 시간 : 워크 플로우가 실패 2017년 10월 18일 (11시 34분 56초) : 2009 년 10 월 (18), 2017 오전 10시 33분 21초 상태

0열

1답변

특정 PCollection을 BigQuery에 작성하십시오.

SideOutputs의 결과로 두 개의 출력 PCollection을 만들고 일부 조건에 따라 BigQuery에 하나만 쓰고 싶다고 가정합니다. 이 작업을 수행하는 방법? 기본적으로 내가 사용하는 경우 Write_Append 및 Write_Truncate를 동적으로 만들려고합니다. BigQuery에서 유지 관리하는 config 테이블의 정보 (append/t

1열

3답변

Python SDK를 사용하여 데이터 흐름 스트리밍 : PubSub 메시지를 BigQuery 출력으로 변환

데이터 흐름을 사용하여 pubsub 메시지를 읽고 큰 쿼리에 쓰려고합니다. Google 팀에서 알파 액세스 권한을 부여 받았고 제공된 예제가 작동했지만 이제는 내 시나리오에 적용해야합니다. Pubsub 페이로드 : Message { data: {'datetime': '2017-07-13T21:15:02Z', 'mac': 'FC:FC:48:AE:F6

0열

1답변

Google Cloud Dataflow 파이프 라인 프로젝트 pom에서 beam-sdks-java-core-2.2.0.jar을 사용하는 방법?

최근에 Google Java eclipse 플러그인을 사용하여 Google Cloud Dataflow 파이프 라인 프로젝트를 설정했습니다. 기본 SKD 버전은 2.1.0입니다. <dependencies> <dependency> <groupId>com.google.cloud.dataflow</groupId> <artifactId>googl

0열

1답변

Google Cloud Dataflow (Apache Beam) - 항상 gzip 파일의 첫 번째 줄을 구문 분석하지 못합니다.

GCS에서 줄 바꿈으로 구분 된 JSON 파일을 gzip으로 압축했습니다. Dataflow를 사용하여로드하고 BigQuery에 저장하려고합니다. 그러나 항상 파일의 첫 번째 줄에서 JSON을 구문 분석하지 못합니다. 나는 파일 내용을 확인하면 내가 잭슨을 사용하고 로그 그러나 Failed to parse JSON, com.fasterxml.jackson.c

1열

1답변

Apache Beam을 사용하여 GCS에 스트리밍 데이터 쓰기

Apache Beam에서 TextIO를 사용하여 PubSub에서받은 메시지를 GCS의 텍스트 파일에 쓰는 방법은 무엇입니까? withWindowedWrites() 및 withFilenamePolicy()와 같은 일부 메소드를 보았지만 문서에서 해당 메소드의 예를 찾을 수 없습니다.