google-cloud-dataflow

0열

1답변

타임 스탬프 열에 연도 <1900

이 포함되어있을 때 BigQuery에서 데이터를 읽을 수 없습니다. 최신 Apache Beam SDK for Python 2.2.0을 사용하여 정의 된 파이프 라인에서 BigQuery 테이블을 읽고 쓰는 간단한 파이프 라인을 실행할 때이 오류가 발생합니다. 연도가 < 인 타임 스탬프가 몇 행에 있으므로 읽기 작업이 실패합니다. 이 dataflow_worke

0열

1답변

Apache Beam - 여러 창을 출력하는 Windows 슬라이딩

세션의 PCollection을 가져오고 채널/연결 당 평균 세션 지속 시간을 얻으려고합니다. 나는 창문마다 초기 트리거가 발사되는 곳에서 뭔가를하고 있습니다. 60 분짜리 창문이 매 1 분마다 움직이면 초기 트리거가 60 번 발사됩니다. 출력물의 타임 스탬프를 보면 앞으로 60 분 동안 매분마다 창이 열립니다. 방아쇠를 가장 최근의 창에 대해 한 번 발사하

-1열

1답변

Google 클라우드 데이터 흐름 내부 : GOAWAY 수신

Google은 Google 클라우드 데이터 흐름을 사용하여 Google의 웹 요청을 빠르게하기 위해 데이터 캐시를 생성합니다. 데이터 세트와 함께 그룹화되는 방식은 약간 통제가되지 않으므로 매우 정통적이지 않은 작업을 수행하고 있습니다. 어쨌든이 오류는 매번 한 번씩 발생하지만 작업이 계속 실행되고 성공할 때가 있습니다. 작업 ID는 : 2017-12-19

0열

1답변

Apache Beam으로 누적 합계를 계산하는 방법

Google Dataflow 용 Apache Beam SDK를 사용하여 일련의 거래에서 일일 잔액을 계산하고 싶습니다. 예 데이터 세트는 수취인, 거래 날짜의 이름으로 다음과 같이하고, 양의 수 John, 2017-12-01, 100 John, 2017-12-01, 200 Jane, 2017-12-01, 150 John, 2017-12-02, -100

0열

1답변

아파치 빔 KafkaIO 외부 데이터 저장소에 대한 오프셋 관리

아파치 빔에 KafkaIO를 사용하여 여러 카프카 브로커에서 읽으려고합니다. 오프셋 관리의 기본 옵션은 kafka 파티션 자체입니다 (더 이상 kafka> 0.9에서 동물원을 사용하지 않음). 이 설정으로 작업/파이프 라인을 다시 시작할 때 중복 된 레코드 누락과 관련된 문제가 있습니다. 내가 읽은 바로는이를 처리하는 가장 좋은 방법은 외부 데이터 저장소에

0열

1답변

Apache Beam "mvn package"는 Eclipse를 통해 작동합니다.

Eclipse IDE 및 관련 플러그인을 사용하는 경우 IDE에서 로컬 및 데이터 흐름 모두에서 작업을 쉽게 실행할 수 있습니다. 작업을 "제품화"하려고 할 때 (그리고 템플릿을 사용할 수없는 알려진 Dataflow/Bigquery 제한 사항으로 인해) "클라우드 빌드"환경의 명령 줄에서 "mvn package"를 사용하려고합니다. 하지만 "org.apac

0열

1답변

데이터 흐름 작업이 특정 dl로 완료된 후 메일을 트리거하는 방법

Google 클라우드 데이터 흐름 작업이 있으며 특정 시간 간격으로 트리거됩니다. 데이터 흐름 작업이 특정 메일 ID로 작업 상태로 완료되면 메일을 트리거해야합니다. 당신이 할 수있는 감사합니다, Damodar

1열

2답변

Apache Beam을 사용하여 데이터베이스에서 대량 데이터 읽기

제 쿼리가 수백만 행을 반환하는 경우 JdbcIO가 병렬로 쿼리를 실행하는 방법을 알고 싶습니다. https://issues.apache.org/jira/browse/BEAM-2803과 관련된 풀 요청을 언급했습니다. 나는 그것을 완전히 이해할 수 없었다. ReadAllexpand 메서드는 ParDo을 사용합니다. 따라서 병렬로 데이터를 읽으려면 데이터베이

0열

1답변

BigQueryIO.With가 던진 예외를 잡아 내고 출력에 실패한 데이터를 구하는 방법은 무엇입니까?

Cloud Pub/Sub에서 데이터를 읽고 Cloud Dataflow로 BigQuery에 쓰기를 원합니다. 각 데이터에는 데이터 자체가 저장 될 테이블 ID가 들어 있습니다. 테이블 ID 형식이 잘못 : 는 BigQuery를 쓰기에 실패하는 것이 여러 요인이 있습니다. 데이터 집합이 존재하지 않습니다. 데이터 집합에서 파이프 라인에 액세스 할 수 없습니다.

2열

1답변

데이터 흐름에서 GCS를 읽을 때 처리되는 파일 이름을 얻는 방법은 무엇입니까?

사용 GCS에서 읽을 때 처리되는 파일 이름을 얻을 수 어쨌든 거기 : p.apply을 (., TextIO.read() "를 GCS에서 읽기"(에서 "GS : // 경로/*")) . 출력을 적절한 테이블에 저장하려면 다음 ParDo에 파일 이름이 필요합니다. 이 질문은 How to Get Filename when using file pattern match