0
내 libaray에 정의 된 사용자 정의 UDF를 사용하고 싶습니다. 나는 그것을 위해 다음 코드를 사용했습니다 :spark에서 SQL UDF를 사용하기위한 JAR 추가
퍼센트 spark2에게 수입 org.apache.spark.sql.functions.year을
발는 SqlContext = 새로운 org.apache.spark.sql.hive.HiveContext (SC)
sqlContext.sql (S "의 JAR /usr/hdp/current/spark-client/lib/myLib.jar 추가 ')
브로 DF = sqlContext.sql ("parse_datetime (start_timestamp을 선택'CET ' , 'yyyyMmddHHmmssSSS') ASIMESTAMP)
위의 코드 함수 "parse_datetime"이 누락 된 것에 대해 불평합니다. 따라서 ADD JAR 문은 myLib를 추가하지 않습니다. 구문 문제가 있거나 누락 된 부분이 있습니까? 나는 이것을 Zeppelin에서 운영하고있다.
또한 $ SPARK_HOME/lib 폴더에 myLib.jar를 복사했지만 사용하지는 않습니다.