두 dataframes이 스파크에 새로운 컬럼으로 값을 일치 잘못을 추가 비교

Question

두 개의 레코드 사이

차이는 두 dataframes 무엇을 비교하는 방법이

같은

df1.except(df2) 

그 결과 얻기 변경 및 & 중 어느 열이 변경되었는지 확인하려면이 값을 열로 추가하십시오. 이

Answer 1

같은 예상 출력 나중에 열 값 모두 (신구 값)를 통과 칼럼 UDF와를 이용하여 기본 키 두 dataframe 가입 UDF의 데이터를 비교하여 값을 반환 같지 않으면.

val check = udf ((old_val:String,new_val:String) => if (old_val == new_val) new_val else "") 

df_check= df 
    .withColumn("Check_Name",check(df.col("name"),df.col("new_name"))) 
    .withColumn("Check_Namelast",check(df.col("lastname"),df.col("new_lastname"))) 

또는 데프 기능

  def fn(old_df:Dataframe,new_df:Dataframe) : Dataframe = 
      { 
      val old_df_array = old_df.collect() //make df to array to loop thru 
      val new_df_array = new_df.collect() //make df to array to loop thru 
      var value_change : Array[String] = "" 

      val count = old_df.count 
      val row_count = old_df.coloumn 
      val row_c = row.length 
      val coloumn_name = old_df.coloumn 

      for (i to count) //loop thru all rows 
      { 
      var old = old_df_array.Map(x => x.split(",")) 
      var new = new_df_array.Map(x => x.split(",")) 
      for (j to row_c) //loop thru all coloumn 
      { 
      if(old(j) != new(j)) 
      { 
      value_change = value_change + coloumn_name(j) " has value changed" ///this will add all changes in one full row 
      } 
      //append to array 
      append j(0) //primary key 
      append value_change //Remarks coloumn 
      } 
      } 
      //convert array to df 
      }