-1
아파치 빔은 고유 한 러너를 가지고 있습니까? 아니면 스파크와 같은 다른 API를 통해 빌드되어 있습니까? 빔이 아파치 스파크 (Apache Spark)에 대한 포장지인가?아파치 빔은 고유 한 러너를 가지고 있습니까? 아니면 스파크 등 다른 API를 통해 빌드되어 있습니까?
A
답변
1
Apache Beam은 데이터 처리 파이프 라인을 정의하기위한 프로그래밍 모델 (API)입니다. 여기에는 처리 파이프 라인을 정의하기위한 SDK 세트와이를 실행하기위한 러너 세트가 포함됩니다.
러너는 일반적으로 Apache Apex, Apache Flink, Apache Spark 및 Google Cloud Dataflow를 포함하여 기존 병렬 처리 엔진에서 파이프 라인을 실행합니다. 현재 개발중인 러너에는 Apache Gearpump 및 Apache Storm/JStorm/Twitter Heron이 포함되며 여러 단계가 탐색 단계에 포함됩니다.
Apache Beam 프로젝트에는 로컬 시스템에서 파이프 라인을 실행하는 Direct Runner가 포함되어 있습니다. 파이프 라인이 Apache Beam 모델을 최대한 준수하는지 확인하기 위해 설계되었습니다. 효율적인 파이프 라인 실행에 초점을 맞추는 대신 Direct Runner는 사용자가 모델에서 보장하지 않는 의미 체계에 의존하지 않도록 추가 검사를 수행합니다.
아니요, apache 빔에는 큰 스케일의 파이프 라인을 처리하기위한 백엔드가 없습니다 .https : //issues.apache.org/jira/browse/BEAM-262? focusedCommentId = 15276724 & page = com.atlassian.jira.plugin.system. issuetabpanels : 주석 탭 패널 # comment-15276724 – JSR29