2017-05-18 12 views
1

현재 Mahout 0.13.0을 사용하고 있습니다. 나는 그것이 스파크 버전으로 문제가 될 수 있습니다 의심 조직/아파치/스파크/SparkConfMahout 및 Spark 버전 호환성

: "기본"java.lang.NoClassDefFoundError가에게 스레드에서

예외 : 나는 스파크 itemsimilarity를 ​​사용하려고하면 오류가 발생합니다 ,하지만 내가 필요로하는 스파크의 버전을 찾을 수 없습니다. 현재 Spark 2.1.0을 사용 중입니다.

제 질문은 Spark의 버전이 Mahout 0.13.0과 호환됩니까?

답변

1

그러나 스파크 2.1 두싯을 구축 할 수 있으며, 스파크 2.1/스칼라 2.11에 두싯 0.13.0에 대한 바이너리가 없습니다 (불행하게도이 더 프로파일이없는 D 스위치로 모든 것을해야 할)

git clone http://github.com/apache/mahout

cd mahout

mvn clean package -Dspark.version=2.1.0 -Dscala.version=2.11.8 -Dscala.compat.version=2.11

: 당신이 다음 할 필요 구축

또한 팻은 바르게 출시 될 예정이다. 바이너리가있을 것이다.

0

Spark 2.x 및 Scala 2.11로 빌드하기 위해 개발 분기에 maven 프로필이 있지만 1 주일 정도 지나면 0.13.1까지 게시 된 아티팩트는 없다고 생각합니다.

두 가지 모두와 호환되며 지나치게 많은 인공물 조합을 따라 잡을 수 있습니다.