스파크 2.0.2 ClassNotFoundException : org.apache.kafka.clients.consumer.Consumer

Question

아래는 내 pom.xml입니다. 나는 그늘과 함께 항아리를 만들었다. org.apache.kafka.clients.consumer.Consumer가 내 uber jar에 포함되어 있다는 것은 매우 확신합니다. 또한 kafka-clients-0.10.1.0.jar을 spark.driver.extraLibraryPath에 촉발 시켰습니다. 나는 또한 spark-submit 명령에 --jars 옵션을 추가하려고 시도했다. 그러나 나는 여전히 classNotFoundException을 얻는다.

<dependencies> 
      <dependency> 
       <groupId>org.scala-lang</groupId> 
       <artifactId>scala-reflect</artifactId> 
       <version>2.11.8</version> 
      </dependency> 
      <dependency> 
       <groupId>org.apache.spark</groupId> 
       <artifactId>spark-core_2.11</artifactId> 
       <version>2.0.2</version> 
      </dependency> 
      <dependency> 
       <groupId>org.apache.spark</groupId> 
       <artifactId>spark-streaming_2.11</artifactId> 
       <version>2.0.2</version> 
      </dependency> 
      <dependency> 
       <groupId>org.apache.spark</groupId> 
       <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> 
       <version>2.0.2</version> 
      </dependency> 
      <dependency> 
       <groupId>org.apache.kafka</groupId> 
       <artifactId>kafka_2.11</artifactId> 
       <version>0.10.1.0</version> 
      </dependency> 
      <dependency> 
       <groupId>junit</groupId> 
       <artifactId>junit</artifactId> 
       <version>3.8.1</version> 
       <scope>test</scope> 
      </dependency> 
     </dependencies> 

Answer 1

난 그냥 바이 패스 솔루션을 찾을 수 있습니다. 항아리를 SPARK_HOME/jars에 추가하십시오. spark-submit 명령을 사용합니다. 시도한 추가 - jars, - driver-library-path. 옵션이 협조적이라고 확신합니다. 하지만 여전히 classNotFound입니다. 아래에 나열된 드라이버 로그에 따라 bybass 솔루션을 찾습니다.

enter image description here