Dataflow/Beam with Python

Question

데이터 흐름/빔에서 Python SDK를 사용하여 PCollection에있는 항목의 샘플을 가져 오려고합니다.

설명되어 있지는 않지만 Sample.FixedSizeGlobally(n)이 있습니다.

테스트, 그것은 는 단일 항목과 PCollection에게 돌아 보인다 때 : 오히려 샘플과 PCollection보다, 샘플을 포함하는 목록을. 그 맞습니까?

이 단일 항목을 PCollection으로 바꾸는 가장 좋은 방법은 항목의 PCollection입니까?

| Sample.FixedSizeGlobally(sample_size) 
| beam.FlatMap(lambda x: x) 

Answer 1

현재 예. Sample.FixedSizeGlobally() 변환은 단일 목록 요소를 사용하여 PCollection을 반환합니다. 당신이 말한 것처럼 당신은 하나의 요소 PCollection으로 바꿀 수 있습니다

Sample.FixedSizeGlobally(sample_size) 
| beam.FlatMap(lambda x: x) 

우리는 PC-PC 변환을 추가해야합니다 것입니다 - 그리고 우리는 또한 빔로 기여 환영합니다 :)를 - 그러나 한편에서, 그게 우리가 가진거야.