Spotify Scio (아파치 빔에 대한 스칼라 래퍼)로 XML 파일 처리하기

Question

아파치 빔 java sdk는 org.apache.beam.sdk.io.xml.XmlIO (2.1.0 버전을 보았다)와 함께 큰 XML 입력 파일 읽기를 지원한다.

Scio가 동일한 작업을 수행 할 수 있는지 또는 예제가 있습니까? 처리하고 싶은 매우 큰 xml 파일 세트가 있습니다.

Answer 1

사용자 정의 입력 변환을 사용하여 Scio에서이 작업을 수행 할 수 있습니다. 일반적으로 고유 한 Scio 인터페이스가없는 모든 입력 소스에 대해이 작업을 수행해야합니다.

예 : https://beam.apache.org/documentation/sdks/javadoc/2.2.0/

:

import org.apache.beam.sdk.io.xml._ 


val xmlInputTransform = XmlIO.read() 
    .from("file or pattern spec")   // TODO: specify file name or Java "glob" file pattern to read multiple XML files 
    .withRootElement("root element")  // TODO: specify name of root element 
    .withRecordElement("record element") // TODO: specify name of record element 
    .withRecordClass(classOf[Record])  // TODO: Define JAXB annotated Record class 

// xmls is an SCollection[Record] 
val xmls = sc.customInput("fromXML", xmlInputTransform) 

은 자세한 내용은 아파치 빔 자바 SDK 참조에서 XmlIO.Read 섹션을 참조하십시오