아파치 빔 : DoFn과 PTransform

Question

DoFn과 PTransform은 모두 PCollection에 대한 작업을 정의하는 수단입니다. 우리는 언제 어느 것을 사용해야하는지 어떻게 알 수 있습니까?

Answer 1

이해하는 간단한 방법은리스트에 대한 map(f)와 유사한 방법에 의해이다

• 고차 함수 map 결과의 새로운리스트를 반환 목록의 각 요소에 함수를 적용한다. 당신은 그것을 계산적인 패턴이라고 부를 것입니다.
• 함수 f은 각 요소에 적용되는 논리입니다.

이제 빔 사양에 대해 이야기하겠습니다. ParDo.of(fn)에 대해 묻습니다. PTransform입니다. PTransform

• 출력뿐만 아니라 입력 PCollections 수율 PCollections 걸리는 작업이다. 빔은 당황스러운 병렬 계산 패턴을 캡슐화하는 PTransform의 5 가지 기본 유형 만 있습니다.
• ParDo은 요소 당 계산의 계산 패턴입니다. 약간의 변형이 있지만이 질문에 대해서는 걱정할 필요가 없습니다.
• DoFn은 여기에서 각각 fn이라고 부르며 각 요소에 적용되는 논리입니다. 또한 도움이 될 수

은 각 요소에 대해 무엇을 말할 수있는 DoFn 쓰기있다는 사실을 생각하고, 빔 주자는 논리를 적용 할 ParDo 제공합니다.