ClassNotFoundException : Spark에서 Zeppelin 입력 값을 사용하는 경우 org.apache.zeppelin.spark.ZeppelinContext DataFrame의 필터 메서드

Question

이미 2 일 동안 문제가 발생하여 해결책을 찾을 수 없습니다. 불꽃 DataFrame의 필터 방식 내에서 입력 값을 사용하는 경우

나는

ClassNotFoundException: org.apache.zeppelin.spark.ZeppelinContext 

을 얻고있다.

val city = z.select("City",cities).toString 
oDF.select("city").filter(r => city.equals(r.getAs[String]("city"))).count() 

난

new String(bytes[]) 

과 다른 발에 입력 값을 복사 시도했지만 여전히 같은 오류가 발생합니다.

내가 리터럴 문자열로 선언 원활 경우 대신 z.select 에서 값을 얻기의 동일한 코드가 작동

city: String = "NY" org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 49.0 failed 4 times, most recent failure: Lost task 0.3 in stage 49.0 (TID 277, 10.6.60.217): java.lang.NoClassDefFoundError: Lorg/apache/zeppelin/spark/ZeppelinContext;

Answer 1

당신은 잘못된 방향으로이 문제를 복용 :

val city="NY" 

은 문자열을 NY로 채운 스칼라 문자열을 제공하지만, 여러분이 말할 때

z.select("City",cities) 

그러면 DataFrame이 반환되고 메서드 toString을 사용하여이 객체를 String으로 변환 한 다음 비교하려고합니다.

실례가 안됩니다!

당신이 할 수있는 일은 하나의 dF를 모은 다음 다른 Df에 따라 scala String을 전달하거나 여러 값에 대해 수행하려는 경우 조인을 수행 할 수 있습니다.

하지만이 방법은 확실하게 작동하지 않습니다!