dataflow

-1열

2답변

Dataflow Task.WhenAll은 작업 취소를 발생시킵니다. 예외

저는 Dataflow를 처음 사용하며이 연습을 통해 How to: Cancel a Dataflow Block을 따릅니다. 먼저 추가 단추를 클릭 한 다음 취소를 클릭하십시오. 취소 단추를 클릭하면 "작업이 취소되었습니다 예외" "에 대한 예외가 있습니다. 이 오류를 해결할 수있는 방법을 찾지 못했습니다. 도움이 될 것입니다. 업데이트 : 데모 코드 : @S

1열

1답변

테이블 행 PCollection을 키, 값 PCollections로 변환하는 방법은 무엇입니까?

유형 II를 들어, .CoGroupByKey() 상황 기본적으로 나는 두 개의 큰 pCollections을 가지고 있고이 둘 사이의 차이를 찾을 수 있어야에 입력에 필요한 pCollections에 pCollections을 변환하는 방법에 대한 설명서가 없습니다 ETL이 변경되면 (pColl1에없는 경우 pColl2에서 중첩 된 필드에 추가) BigQuery

0열

1답변

아파치 빔 내가 차원 테이블을로드 할 ETL을 구축을 위해 노력하고 있어요 PCollection

에 일련 번호를 추가합니다. 저는 Apache Bea와 Python, DataFlow 및 BigQuery를 사용하고 있습니다. 나는 BigQuery에로의로드하기 위해 pcollection의 각 요소에 일련 번호를 지정해야하지만이 작업을 수행 할 수있는 방법을 찾을 수 없습니다. DataFlow가 이전 집계를 만들기 위해 필요하다고 생각하고 시퀀스 번호를 추

1열

1답변

LLVM - 레지스터가 주어지면 IR 표현에서 마지막으로 사용 된 위치를 얻습니다.

소스 코드에서 데이터 흐름을 추적하려고합니다. 이를 위해, 나는 그들이 유형 LoadInst의 명령 인 *(LI->getPointerOperand()) LI의 사용과에서 값을로드하는 등록 유형 load의 지시에보고 얻을 수 있어요. 이제이 레지스터가 마지막으로 액세스 된 위치를 알아야 해당 명령에서이 데이터 흐름으로 데이터 흐름을 확인할 수 있습니다.

0열

1답변

둘 또는 여러 PCollection 참여하면 *없이 * 흐름 키

가정하자 PCollection의 P1을 갖는다 {1,2,3} PCollection의 P2는 {A, B, C} I 쌍을 갖는다 PCollection를 생성하고자했다 p1과 p2는 {A, 1}, {B, 2}, {C, 3} 과 같은 도움이됩니다. 감사합니다, K

0열

1답변

일정 시간의 의사 다항식

의사 다형성은 입력의 크기에 대해 다항식이지만 입력의 크기에 대해 지수 함수임을 의미합니다. 따라서 배낭에서 O (nW)는 의사 다항식으로 간주됩니다. 나는 어떤 사람들이 nx 나 ny라고 부르는 것을 보았습니다. n이 꽤 커지면 n의 비트 길이를 더 고려해야하기 때문에, n을 가진 거의 모든 것, 의사 다항식을 보았습니다. 크기가 다항식으로 간주 될 수있

0열

1답변

자동 크기 조절 중에 Google 데이터 흐름 처리량이 감소합니다.

우리는 PubSub에서 읽고 일부 필드를 추출하여 bigtable에 쓰는 데이터 흐름 스트리밍 작업이 있습니다. 우리는 자동 축소 기능을 사용할 때 데이터 흐름의 처리량이 떨어지는 것을 관찰하고 있습니다. 예를 들어, 데이터 흐름 작업이 현재 2 명의 작업자로 실행 중이고 100 개의 메시지/초의 비율로 처리중인 경우 자동 증가 중에 100 개의 메시지/초

0열

1답변

Dataflow 2.x가 PCollectionTuple.apply() 호출시 잘못된 매개 변수 유형에 대해 불평 함

기존 파이프 라인을 데이터 흐름 2.x로 마이그레이션 중입니다. 파이프 라인의 마지막 단계에서 데이터가 Google 클라우드 서비스에 기록됩니다. 데이터를 .gz로 압축해야합니다. 이전에는 (데이터 흐름 1.x 구현에서) 우리는 우리를 위해이 작업을 위해 자체 Sink를 작성했습니다. 데이터 흐름 2.x에는이 작업을 수행 할 수있는 기본 방법이 있습니다.

0열

1답변

AvroIO 클래스를 사용하여 런타임 값 읽기

스키마 및 파일 경로를 동적으로 전달하여 AvroIO를 사용하여 Apache Beam에서 AVRO 파일을 읽어야합니다. ValueProvider 또는 측면 입력 또는 AvroIO.read에 다른 것을 전달할 수있는 방법이 있습니까? PCollection<GenericRecord> records =p.apply(AvroIO.readGenericRecords(

2열

1답변

경로의 SSIS 스크립트 작업 기본 결과

SSIS 패키지가 있고 내가 가진 첫 번째 작업은 스크립트 작업입니다. (= 1) 파일이 있는지 확인한 다음 파일이 존재하지 않으면 (= 0) 어떻게 다른 경로로 내려갈 수 있습니까? 나는 완료 화살표와 실패의 화살표를 추가하는 시도했지만이