큰 Excel 파일을 사용하여 SQL 삽입/업데이트

Question

ERP 용 테이블에 많은 정보를 삽입/업데이트해야하는 경우가 있습니다. 먼저 정보가 존재하는지 확인하기 위해 표를 확인해야합니다. 그렇지 않으면 삽입하십시오. 그렇다면 업데이트하십시오.

아래 샘플 코드가 있습니다.

IF NOT EXISTS(SELECT * FROM EXT00101 WHERE PT_Window_ID='ITEM_SHIP_MAINT' and PT_UD_Key='18 RND PA' and PT_UD_Number=5) 
    BEGIN 
      INSERT INTO EXT00101 VALUES('ITEM_SHIP_MAINT', '18 RND PA', 5, '70') 
    End 

IF EXISTS(SELECT * FROM EXT00101 WHERE PT_Window_ID='ITEM_SHIP_MAINT' and PT_UD_Key='18 RND PA' and PT_UD_Number=5) 
    BEGIN 
     UPDATE EXT00101 
     SET STRGA255='70' 
     WHERE PT_Window_ID='ITEM_SHIP_MAINT' and PT_UD_Key='18 RND PA' and PT_UD_Number=5; 
    END 

23,000 + 회선이있는 Excel 파일에 대해 편지 병합을 사용했습니다. 이로 인해 내 SQL 문은 260,000+ 회선이됩니다. 이것을 완료하는보다 효율적인 방법이 있어야합니다.

그렇지 않은 경우이 코드를 상당히 분해해야합니다.

마이크로 소프트 SQL 서버 2005

Answer 1

SSIS를 사용하여 바로 트랙에 당신을 얻을하려면 첫 번째 단계는 준비 테이블 생성하기 위해 사용하는 SQL 실행 작업을하는 것입니다 :

IF (OBJECT_ID(N'dbo.tmpEXT00101Staging') IS NOT NULL 
    DROP TABLE dbo.tmpEXT00101Staging; 

CREATE TABLE dbo.tmpEXT00101Staging 
(  PT_Window_ID VARCHAR(50) NOT NULL, 
     PT_UD_Key  VARCHAR(50) NOT NULL, 
     PT_UD_Number INT NOT NULL, 
     STRGA255  VARCHAR(50) NOT NULL 
); 

그런 다음 데이터를 사용합니다 데이터를이 테이블 (플랫 파일 또는 Excel 소스, 대상은 OLE DB 대상)으로 가져 오는 흐름 작업 데이터 흐름 작업의 "지연 유효성 검사"를 false로 설정하거나 "외부 메타 데이터 유효성 검사" 대상이 런타임에 만들어 지므로 대상에서 false로 변경). 또한 스테이징 테이블을 영구적으로 보관할 수 있으며 대신 각 실행의 시작시 TRUNCATE TABLE dbo.tmpEXT00101Staging을 사용하여 스테이징 테이블을 지울 수 있습니다.

BEGIN TRAN; 

-- UPDATE ROWS THAT EXIST 
UPDATE t 
SET  STRGA255 = st.STRGA255 
FROM dbo.EXT00101 t 
     INNER JOIN dbo.tmpEXT00101Staging st 
      ON st.PT_Window_ID = T.PT_Window_ID 
      AND st.PT_UD_Key = t.PT_UD_Key 
      AND st.PT_UD_Number = t.PT_UD_Number; 

-- INSERT ROWS THAT DO NOT EXIST 
INSERT EXT00101 (PT_Window_ID, PT_UD_Key, PT_UD_Number, STRGA255) 
SELECT PT_Window_ID, PT_UD_Key, PT_UD_Number, STRGA255 
FROM dbo.tmpEXT00101Staging st 
WHERE NOT EXISTS 
     ( SELECT 1 
      FROM dbo.EXT00101 t 
      WHERE st.PT_Window_ID = T.PT_Window_ID 
      AND  st.PT_UD_Key = t.PT_UD_Key 
      AND  st.PT_UD_Number = t.PT_UD_Number 
     ); 

COMMIT TRAN; 

-- CLEAN UP AND DROP STAGING TABLE (OPTIONAL) 
IF (OBJECT_ID(N'dbo.tmpEXT00101Staging') IS NOT NULL 
DROP TABLE dbo.tmpEXT00101Staging; 

여기에 경쟁 조건을 충족 할 가능성이있는 (당신이 영구적으로 유지하지 않으려면 청소하고 준비 테이블을 드롭)

마지막으로 메인 테이블을 업데이트하려면이 준비 테이블을 사용 따라서 동일한 레코드를 삽입하려고하는 동시 스레드에 의한 무결성 위반을 막을 수있는 제약이 있는지 확인해야합니다.

MERGE dbo.EXT00101 WITH (HOLDLOCK) AS t 
USING dbo.tmpEXT00101Staging AS st 
    ON st.PT_Window_ID = T.PT_Window_ID 
    AND st.PT_UD_Key = t.PT_UD_Key 
    AND st.PT_UD_Number = t.PT_UD_Number 
WHEN MATCHED THEN 
    UPDATE 
    SET STRGA255 = st.STRGA255 
WHEN NOT MATCHED THEN 
    INSERT (PT_Window_ID, PT_UD_Key, PT_UD_Number, STRGA255) 
    VALUES (st.PT_Window_ID, st.PT_UD_Key, st.PT_UD_Number, st.STRGA255);