오라클 DB에 큰 Excel을로드하는 ETL

Question

필자의 요구 사항은 파일 서버에 oracle DB 테이블에 배치 된 큰 Excel 파일 (160KB 이상의 데이터와 약 150 열)을로드하는 것입니다. 그래도 제약의 몇 가지가 있습니다 -

1. 이 개 컬럼의 위치는 엑셀에 따라 다를 수 있습니다 [ '다는 EmpID'& 'ACCTNUM'을 말할 수] - 번 '다는 EmpID'에서 열 'A'에서 발생할 수있는 것처럼 다른 시간에는 'E'열에서도 발생할 수 있습니다. 따라서 데이터 매핑은 동적이어야합니다.

2. 파일은 하루 중 언제든지 올 수 있으며 파일 서버에서 파일을 생성 한 후 1 시간 내에 처리해야하며 여러 파일이 하루에 올 수 있습니다. 따라서 oracle에서 [SQL 서버 작업을 통해 dtsx를 실행하는 것과 같은] Batch를 만들어야합니다.

OS 배치가 실행되는 OS는 Unix입니다.

3. 성과는 중요한 도전 과제입니다. 따라서 성과를 내기 위해서는 성능을 기준으로 삼으십시오.

우리가 & 관련, ARKA을

감사합니다 [바람직 프리웨어/오픈 소스 도구를 사용하여이 작업을 수행 할 수있는 방법에 대한 조언을 바랍니다

Answer 1

개인적으로 나는 다음 호출 할 수있는 자바 프로그램을 작성합니다 유닉스 셸 스크립트. 자바 프로그램은 매우 쉬운 것입니다 :

• 이
• 는
• 전자 준비
• 이 파일을 읽을 문 작성 거짓 자동 커밋에서 DB 연결, 라인
• 로 라인을 열
try 블록을 엽니 다 각 라인의 필드 토큰 화
• 당신을 처리하기 위해 스마트 될 필요가 여기
  • 동적 필드는 물론
  • 그것이
  파일
  • 의
  • 도달 끝 가까이
  • 시도하고 열린 마지막
  을 차단 커밋 실행
• 이 준비된 명령문 내부의 값을 넣어 규칙을있을가
• 롤백

자동 커밋을 true로 설정하면 실행 속도가 빨라집니다.