Java 스파크 예제가 오류로 잘못 실행됩니다. java.lang.NoSuchMethodError : scala.Predef $. $ scope() Lscala/xml/TopScope $

Question

Intelligent IDEA에 spark maven 지원 예제를 작성했습니다. spark 버전이 2.0.0이고 hadoop 버전이 2.7.3이고 scala 버전이 2.11.8입니다. 시스템 및 IDE 환경은 동일한 버전입니다. 그런 다음 응용 프로그램이 오류로 실행 :

Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.$scope()Lscala/xml/TopScope$ ; at org.apache.spark.ui.jobs.StagePage .(StagePage.scala:44) at org.apache.spark.ui.jobs.StagesTab .(StagesTab.scala:34) at org.apache.spark.ui.SparkUI .(SparkUI.scala:62) at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:215) at org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:157) at org.apache.spark.SparkContext.<init>(SparkContext.scala:443) at org.apache.spark.SparkContext.<init>(SparkContext.scala:149) at org.apache.spark.SparkContext.<init>(SparkContext.scala:185) at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:92) at com.spark.test.WordCountTest.main(WordCountTest.java:25) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:606) at com.intellij.rt.execution.application.AppMain.main(AppMain.java:140)

Answer 1

불꽃 스칼라 2.10과 2.0.0 빌드, 당신은 프레임 워크 지원