스파크와 스칼라를 사용한 텍스트 추출

Question

나는 스칼라로 텍스트 추출 알고리즘을 가지고 있는데, 그 위에 스파크를 사용하고 싶습니다. 나는 두 스파크에 새로운 오전으로 사용하는 방법을 이해 할 수없는 오전 스칼라 내 알고리즘은 내가 여러 텍스트 파일이 텍스트 파일이 많이 있습니다 여기에있을 수 있습니다이

object HelloWorld { 
    val algoobejct = new ObjectExtract 
    var textFile = ("Path to text file") 
    for each sentence in textFile 
    { 
    val instances = algoobject.extract(sentence); 
     save instances to texFile 
    } 

같다.

누구나 스파크를 사용하여 어떻게 수행 할 수 있는지 말해 줄 수 있습니까?
내 알고리즘은 스칼라이므로이 작업을 수행하는 데에만 스칼라를 사용합니다.

Answer 1

이 시도 ..

val algoobejct = new ObjectExtract 
val rdd = sparkContext.textFile("Path to text file") 
rdd.map(sentence=>algoobject.extract(sentence)).saveAsTextFile("outputDirectory") 

그냥 algoobejct이 Serializable이 그렇지 않으면 당신이 문제가 무엇