반복되는 레코드를 건너 뛰는 방법은 무엇입니까?

Question

엄청난 양의 데이터를 테이블에 업로드하기 위해 SQL * Loader 스크립트 작업 중입니다.

스크립트는 다음과 같은 방식으로 작동합니다. FTP 서버에 연결하고 디렉토리를 미러링하여 생성 된 모든 새 파일을 가져온 다음 모든 CSV 파일을 가져 와서 하나의 파일로 저장 한 다음 업로드합니다 이 더 큰 CSV 파일 내의 데이터

기본적으로 SQL * Loader는 테이블에 레코드가 처음 존재하는 경우 레코드를 삽입하지 않는 방법을 찾고 있습니다.

테이블은 최대 1,000 만 개의 레코드를 보유 할 수 있으며 때로는 이러한 파일을 잘못 다운로드해야하므로 일부 레코드가 반복 될 수 있습니다.

필요한 두 필드에 고유 키를 입력했습니다.

최대 오류를 스크립트가 삽입하려고 시도하는 행 수로 변경하려고 시도했지만 반복적 인 레코드가없는 경우보다 Constraint Violation 오류를 반환하는 것이 훨씬 느린 것으로 나타났습니다. 정말 큰 로그 파일.

SQL * Loader 제어 파일 내에 조건을 두는 방법이 있습니까? (두 필드에서 반복 될 수는 있지만 둘 다 동시에 수행 할 수 없으므로)?

또는이 프로세스의 속도를 높이는데 도움이 될 것 같습니까?

보너스 질문 : 10 개의 CSV 파일을 각각 SQL * Loader로 보내거나 그 중 10 개의 데이터를 포함하는 단일 파일을 만드는 것이 더 좋습니까?

Answer 1

는 solllodolllo 대답 당으로 수입 임시 테이블에 기록하지만

DELETE FROM temptable WHERE id IN (SELECT id FROM yourtable)? 

그 후에 당신은 yourtable에 TEMPTABLE 삽입 할 수 있습니다.

물론 이것은 행이 다른 것과 다를 수있는 방법에 따라 다릅니다. 아마 그 질문에 그것을 나타내는 것이 좋을 것입니다.

Answer 2

SQL Loader가 테이블에 이미있는 레코드를 삽입하지 않도록하려면 SQL Loader가 필요한 조건을 충족시키지 않으면 레코드를 건너 뛰게하는 조건문을 사용할 수 있습니다. 예를 들어 :

LOAD DATA 
INFILE 'YourData.dat' 
BADFILE 'YourBadData.bad' 
APPEND INTO TABLE YourTable 
WHEN (Condition 1 = TRUE) AND (Condition 2 = FALSE) 
{ 
... 

은 초기로드 프로세스의 속도를하려면, 당신은 다음 임시 테이블에 모든 레코드를 삽입 영구 테이블에 고유 한 모든 행을 삽입 할 SELECT 문을 사용할 수 있습니다.

INSERT INTO YourTable 
SELECT DISTINCT [fields] 
FROM tempYourTable