apache-beam

1열

1답변

문서의 단계를 따라 갔지만이 예외가 계속 발생했다고 생각합니다. (이클립스 J2EE에서 실행하는 유일한 차이점은, 실제로는 그렇지 않겠습니까?) 코드 : 빔 프로젝트 예제에서 작성했습니다.). Google 클라우드 플랫폼 프로젝트를 지정하고 액세스 권한을 부여해야합니다. 그러나이 예제 프로젝트에서 설정을 수행하는 곳을 찾지 못했습니다. public stat

2열

1답변

apache_beam.runners.dataflow_runner.DataflowRuntimeException는 :

내가 클라우드 쉘에서 Google 클라우드 프로젝트를 설정하고 https://github.com/GoogleCloudPlatform/cloudml-samples/blob/master/flowers/sample.sh이 오류에 란이 튜토리얼 스크립트를 실행하려고 : 데이터 흐름 파이프 라인은 실패 ***@***:~/git/cloudml-samples/flowe

2열

1답변

아파치 빔 소스 가져 오기 파일 이름

편집 : 해결 :! 여러 언어로 된 여러 개의 텍스트 파일이 있습니다. Apache Beam을 사용하여 각 행에 언어 태그를 추가하고 싶습니다. 예 : 파일 text_en : This is a sentence. 파일 text_de : en: This is a sentence. de: Dies ist ein Satz. : Dies ist ein Satz

2열

1답변

python에서 데이터 흐름/빔에서 데이터 저장소를 쿼리하는 방법

google이 python으로 데이터 흐름/빔에서 데이터 저장소를 쿼리하는 지원을 릴리스 한 것처럼 보입니다. 내가 잘못 전달하고있어 같은데요 나에게 AttributeError: 'Query' object has no attribute 'HasField' [while running 'read/Split Query'] 을주고있다 import apache_

0열

1답변

데이터 흐름 sdk 및 aws sdk 공존하는 방법

데이터 흐름 Java SDK를 사용하여 S3 사용자 지정 싱크를 작성하려고합니다. AWS SDK는 httpclient4.5.2를 사용하지만 Dataflow SDK는 여전히 4.0.1을 사용합니다. 그래서 일을하려고 할 때 충돌이 일어납니다. Dataflow의 httpclient 버전을 업그레이드하는 방법이 문제를 해결하는 방법이라고 생각합니다. 어떻게 업데

0열

1답변

BigqueryIO 날짜 분할 표에 쓸 수 없음

BigQery의 날짜 분할 표에 쓰기 위해 다음 post의 지침을 따르고 있습니다. 나는 $ 구문을 사용하여 파티션 위치로 창을 매핑 할 직렬화 기능을 사용하고 난 다음 오류 얻을 : Invalid table ID \"table$19700822\". Table IDs must be alphanumeric (plus underscores) and must b

0열

1답변

Apache 빔을 사용한 비디오 처리를위한 Api

현재 유연한 스트림 처리를 위해 Apache Beam이 출시되었습니다. 비디오 스트림을 처리하는 API를 찾고 있지만 찾지 못했습니다. 누구든지 Apache Beam/Google Dataflow을 사용하여 모든 비디오 처리 API에 대해 제안 할 수 있습니까? 감사합니다.

3열

1답변

데이터 흐름이있는 CSV 헤더 읽기

나는 CSV 파일이 있으며 미리 열 이름을 알지 못합니다. Google 데이터 흐름에서 일부 변형 후에 JSON에서 데이터를 출력해야합니다. 머리글 행을 가져 와서 모든 행에 레이블을 침투시키는 가장 좋은 방법은 무엇입니까? 예를 들어 : a,b,c 1,2,3 4,5,6 는 ... (약)이됩니다 : 당신은 첫 번째 줄에 저장 헤더 데이터를 읽을 것,

0열

1답변

Apache Beam에서 Azure Blob을 지원합니까?

아파치 빔이 푸른 창문 BLOB 파일 (와) IO를 지원하는지 궁금합니다. 아직 지원이 있니? Azure Spark 클러스터에서 작업을 실행하기 위해 Apache Beam 응용 프로그램을 배포했기 때문에 기본적으로 해당 스파크 클러스터가있는 관련 저장소 컨테이너의 IO wasb 파일은 불가능합니다. 다른 해결책이 있습니까? 컨텍스트 : Azure Spark

0열

1답변

기본 트리거가있는 Windows에서 제한없는 데이터 사용

나는 Pub/Sub topic + subscription을 보유하고 있으며 구독에서 무제한 데이터를 사용하고 집계하려는 Dataflow입니다. 고정 창을 사용하고 집계를 BigQuery에 씁니다. 읽기 및 쓰기 (창 및 집계없이)는 정상적으로 작동합니다. 그러나 고정 된 창으로 데이터를 파이프하면 (각 창에서 요소를 계산하기 위해) 창은 결코 trigger