자바 스파크 : com.mongodb.spark.config.writeconfig 문제

Question

자바 스파크 커넥터를 통해 MongoDB에 연결하려고하는데 jar 파일을 제출할 때 "com.mongodb.spark.config.writeconfig"오류가 발생합니다. 스파크 껍질에 항아리를 달아 라. 여기에 오류 스크린 샷 :

이 문제를 해결할 수 있도록 도와 주시겠습니까? 나는 이것을 시도했지만 성공하지는 못했다.

• $/빈/sparkR --conf "spark.mongodb.input.uri = MongoDB를 : //127.0.0.1/test.myCollection readPreference = primaryPreferred". ./bin/sparkR --conf " spark.mongodb.output.uri = mongodb : //127.0.0.1/db.test "./bin/spark-shell - 패키지 org.mongodb.spark : mongo-spark-connector_2.11 : 2.2.0

• $의 지역 --class com.test.spark.SparkClient /home/otalogin/SparkClient.jar --master 스파크 제출

• 지역 --class com.test.spark.SparkClient --master 스파크가 제출 $ /home/otalogin/SparkClient.jar - jar mongo-spark-connector_2.11 : 2.2.0

동일한 오류가 발생합니다.

이 문제를 도와주세요.

Answer 1

Darshan M에서 제안한대로 mongo 종속성을 제공해야합니다.

가장 쉬운 방법은 maven/sbt를 사용하여 팻 항아리를 만드는 것입니다.

maven을 사용하는 경우 pom.xml을 구성하십시오. this이 도움이 될 수 있습니다. sbt를 사용하는 경우 that을 사용하면 도움이됩니다.