제거 줄 바꿈 내가 컴파일 시간 오류가이 코드를 실행하면

Question

val trim: String => String = _.trim.replace("[\\r\\n]", "") 

def main(args: Array[String]) {  
    val spark = ... ... 
    import spark.implicits._  
    val trimUDF = udf[String,String](trim) 

    val df = spark.read.json(df_path) ...  
    val fixed_dblogs_df = df.withColumn("qp_new", trimUDF('qp)) ... 
} 

이 TypeTag 오류를 제공합니다. 왜 이런 일이 일어나는지 모르겠습니다. 이전에 udf 함수를 사용했지만이 오류가 발생했습니다. 나는 Spark 2.1.1을 사용했다.

코드의 목적은

Answer 1

사용중인 몇 가지 이유가 StringType이고 난 그냥 그것의 모든 줄 바꿈을하지 원하는 열 내 필드 중 하나에 모든 새로운 라인을 제거하는 것입니다 replace_regexp 대신 UDF가 내장되어 있습니까?

val fixed_dblogs_df = df.withColumn("qp_new", replace_regexp('qp, "[\\r\\n]", "") ...) 

UDF의 break Spark의 계획 최적화.