Canal (Open Studio) Talend를 사용하여 폴더에서 Vertica 로의 데이터로드를 자동화 할 수 있습니까?

Question

매번 플랫 파일을 수동으로 내보내는 대신 내 데이터를 자동으로 Vertica에로드하는 방법을 찾고 있었고 ETL Talend를 발견했습니다.

여러 개의 CSV 파일이 포함 된 테스트 폴더로 작업 중이며 파일을 vertica에 넣을 수 있도록 작업을 빌드하는 방법을 찾으려고합니다.

오픈 스튜디오 버전 (무료)에서 볼 수 있듯이 파일에 동일한 스키마가 없으면 엔터프라이즈 버전에있는 동적 스키마 옵션을 사용하지 않으면 불가능한 파일이됩니다.

tFileList로 시작하여 tFileInputDelimited를 반복하려고 시도하지만 스키마가 균일하지 않으므로 처리가 중지됩니다.

간단히 말해, 다른 스키마가있는 파일로 구성된 폴더가 있으면 Talend의 무료 버전에서 데이터로드를 자동화 할 방법이 없다고 가정하면 맞습니까?

누군가 다른 오픈 소스 ETL을 보거나 추천할만한 해결책이 있다면.

Answer 1

tFileList compenent에서 CURRENT_FILE 변수에 액세스 한 다음 파일 이름에 다른 경로로 파일을 전송할 수 있습니다. 그런 다음 각 파일에 대해 tFileInputDelimited를 만듭니다. 예를 들어, file1.csv 및 file2.csv라는 두 개의 파일이있는 경우 tFileList를 마우스 오른쪽 단추로 클릭하고 트리거> 실행 If을 선택하십시오. 실행시 조건 유형이 ((String) globalMap.get ("tFileList_1_CURRENT_FILE")) toLowerCase()가 ("file1.csv")과 일치하고 tFIileInputDelimited 파일로 끌어다 놓아 file1.csv를 처리합니다. file2.csv도 동일하게 실행하여 실행 조건에 파일 이름을 변경합니다.