CSV에서 SQL INSERT를 수행 할 때 중복 데이터를 방지하는 방법

Question

CSV 파일에서 SQL Server 2008로 삽입 할 때 중복 데이터가 발생하지 않도록하려면 어떻게해야합니까?

#region Put to SQL 
       string line = null; 
       bool IsFirst = true; 

       string SqlSyntax = "INSERT INTO ORDRE "; 
       string sqlkey = ""; 
       string sqlvalSELECT = ""; 

       using (StreamReader sr = File.OpenText(filePath + "\\" + downloadname)) 
       { 
        while ((line = sr.ReadLine()) != null) 
        { 
         string[] data = line.Split(';'); 

         if (!String.IsNullOrEmpty(sqlvalSELECT)) sqlvalSELECT += "\nUNION ALL "; 

         if (data.Length > 0) 
         { 
          string sqlval = ""; 
          foreach (object item in data) 
          { 
           if (IsFirst) 
           { 
            if (!String.IsNullOrWhiteSpace(sqlkey)) sqlkey += ","; 
            sqlkey += item.ToString(); 

           } 
           else 
           { 
            if (!String.IsNullOrEmpty(sqlval)) sqlval += ","; 
            sqlval += item.ToString(); 
           } 
          } 
          if (!String.IsNullOrEmpty(sqlval)) sqlvalSELECT += "SELECT " + sqlval; 

          IsFirst = false; 

         } 
        } 
       } 


       string sqlTOTAL = SqlSyntax + "(" + sqlkey + ")" + sqlvalSELECT; 
       //lbl_Message.Text = sqlTOTAL; 

       try 
       { 
        using (var connectionWrapper = new Connexion()) 
        { 
         var connectedConnection = connectionWrapper.GetConnected(); 
         SqlCommand comm_Ftp_Insert = new SqlCommand(sqlTOTAL, connectionWrapper.conn); 
         comm_Ftp_Insert.ExecuteNonQuery(); 

        } 
       } 
       catch (Exception ex) 
       { 
        throw new Exception(ex.Message); 
       } 

       #endregion 

는 내가 2008 년 은 내가 어떻게 CSV 파일이 비교할 수 있습니다 이미 SQL 서버로 가져온 데이터를 수집 메도을? 사전에

/// <summary> 
     /// Get the existed data on SQL 
     /// </summary> 
     /// <returns>Return List of Pers_Ordre with key OrdreId and ClientID</returns> 
     public List<Pers_Ordre> Get_Existed() 
     { 
      try 
      { 
       using (var connectionWrapper = new Connexion()) 
       { 
        var connectedConnection = connectionWrapper.GetConnected(); 
        List<Pers_Ordre> oListOdr = new List<Pers_Ordre>(); 

        string sql_Syntax = Outils.LoadFileToString(HttpContext.Current.Server.MapPath("~/SQL/OrdreFTP_GetExist.sql")); 
        SqlCommand comm_Command = new SqlCommand(sql_Syntax, connectionWrapper.conn); 

        SqlDataReader readerOne = comm_Command.ExecuteReader(); 
        while (readerOne.Read()) 
        { 
         Pers_Ordre oPersOrdre = new Pers_Ordre(); 
         oPersOrdre.OrdreId = Convert.ToInt32(readerOne["NO_ORDRE"]); 
         oPersOrdre.ClientID = readerOne["CODE_CLIENT"].ToString();     
         oListOdr.Add(oPersOrdre); 
        } 
        return oListOdr; 
       } 
      } 
      catch (Exception excThrown) 
      { 
       throw new Exception(excThrown.Message); 
      } 

     } 

감사를, Stev

Answer 1

이유는 단지 임시 테이블에 CSV에서 데이터를 삽입하고 중복 행을 제거 할 대상 테이블에 삽입 무엇을 필터링하지. 그렇게하면 데이터베이스가 어쨌든 더 빨리 작업 할 수 있습니다.

이것은 당신이 당신이 복제하지 않으려는 DB에있는 컬럼에 고유 제한 조건을 추가 할 수

Answer 2

희망이 도움

insert into Order 
    select * from Order_Temp 
    WHERE NOT EXISTS 
    (
    SELECT X 
    FROM Order o 
    WHERE o.NO_ORDRE = Order_Temp.NO_ORDRE 
    AND o.CODE_CLIENT = Order_Temp.CODE_CLIENT 
) 

을 필요 가장 쉬운 SQL이다. 그런 다음에 코드를 래핑하십시오. try {} catch {}