0

ETL 마이그레이션을 처음 사용했습니다. 나는 Talend와 함께 일했지만, 한 도구에서 다른 도구 (IBM Data Manager에서 Informatica PowerCenter 또는 Informatica Developer로)로 큰 ETL 프로젝트를 마이그레이션하는 작업에 아직 직면하지 않았습니다.ETL 도구 마이그레이션 : 병렬 실행의 모범 사례

한 도구에서 다른 도구로 마이 그 레이션 작업에 대한 일반적인 지침을 찾고 있습니다.

좀 더 명확하게됩니다

데이터베이스 소스 및 Targes은 동일합니다, 제가 마이그레이션해야하는 것은 ETL 부분 자체이다.

접근 방식은이 블로그에서 제안 병렬 실행됩니다 : 나는 레거시 될 것 대신에 기존의 소프트웨어와 전용 ETL을 모두 DWH를 마이그레이션하지 않은 내 경우

Parallel Run

하나 새 제품은 다른 공급 업체의 제품입니다 (운 좋게도 둘 다 XML을 내보낼 수 있습니다).

나는 병렬 실행을위한 실제 승인을 찾고 있는데 실제로 원본 데이터베이스 테이블에서 소스 및 타지 테이블을 복사하도록 제안되었지만 나에게 가장 좋은 방법은 보이지 않는다. 스키마에는 많은 테이블이 있음).

DWH 물론 Oracle 데이터베이스에는 여러 개의 DBS 인스턴스가 있고 테스트 서버와 프로덕션 서버는 물론 SQL Server에도 스테이징, 저장소 및 데이터 마트 영역이 있습니다.

관련 질문 및 답변에서 알 수 있듯이 각 프로젝트마다 이동 중에 각 스키마를 복사하려고합니다.

Staging in ETL: Best Practices

는적인 지침이 참조가있을 찾고,하지만 내 특정한 경우는 인포매티카 PowerCenter를

+0

이 질문은 SO의 Q & A 형식에 적합하지 않습니다. 그러나 여기에 몇 가지 일반적인 조언이 있습니다. 대상 db (s)의 사본을 작성하십시오. 새로운 소프트웨어를 사용하여 ELT를 재구성하십시오. old와 new를 모두 실행하십시오. 그들이 똑같은 결과를 만들어 내는지 확인하십시오. 그런 다음 다시 & 다시 확인하십시오. 가능한 한 병렬로 실행하십시오. 이로 인해 모호하거나 드물게 발생하는 오류를 잡아낼 확률이 높아집니다. 마이그레이션은 매우 빠르게 복잡해질 수 있습니다. 길을 따라 어떤 것도 바꾸지 마십시오. 업그레이드, 수정 및 새로운 아이디어가 기다릴 수 있습니다. 이전 날에 모두 문제가 발생하면 이전 솔루션으로 롤백 할 수 있는지 확인하십시오. 테스트 롤백. –

+0

@ destination-data 나는 SO의 Q & A 형식을 이해하고 있지만, 내가 할 수있는 한 구체적으로 내 질문에 어울리지 않는지 보지 못한다. (나는 ETL 소프트웨어를 작성하여 편집한다.) 나는 의견을 묻지 않고, 복잡한 작업 (ETL에서 다른 것으로 옮겨가는 것, 그렇게 일반적인 것이 아니라)에 대한 모범 사례/경험 목록을 요청하고 있습니다. 귀하의 제안은 모두 합리적인 방법이며 첫 번째 접근 방법이었습니다. 물론 해결책으로 답을 쓸 수는 없었습니다. 그러나 수석 ETL 엔지니어가 있다면 로드맵을 줄 수는 있습니다. 내가 이미 염두에두고있는 것) –

+0

내 질문이 SO의 Q & A에 적합하지 않다면, 나는 이것과 똑같아 야한다. 다른 끝에서 Q & A에 맞는 제 질문을하기위한 귀하의 제안은 무엇입니까? 감사합니다 –

답변

1

접근 방식에 IBM 데이터 관리자에서 마이그레이션입니다 다양한 기준과 개인 환경 설정에 따라 달라집니다. 어느 쪽이든 소스 또는 대상 시스템의 일부 또는 전부를 복제해야합니다. 극단적 인 경우 전체 시스템의 두 인스턴스를 사용할 수 있습니다. 테스트의 일부인 복잡한 업스트림 프로세스가 있거나 테이블과 프로세스가 많고 시스템을 복제 할 대역폭과 리소스가있는 경우이 방법이 최적 일 수 있습니다.

다른 극단적 인 경우, ETL 도구 자체에서 복잡한 프로세스가 발생하거나 단순히 테이블을로드하고 올바르게로드되었는지 확인한 다음 테이블 사본을 만들고 새 도구 또는 기존 도구를 표 사본이 갈 수있는 방법 일 수 있습니다. 이 방법은 설치가 매우 간단하고 쉽습니다.

이 포럼은 해당 기술에 대한 블로그 및 심층적 인 기술 기사를 대체하지 않습니다.

+0

두 번째 접근 방식을 진행하기 때문에 하나의 복잡성이 줄어 듭니다. 지금까지 알고있는 프로젝트는 복잡한 ETL 프로세스를 포함하지 않기 때문에 (심지어 새로운 Informatica와는 다르게 접근 할 수도 있습니다. 이전 시스템의 작업과 동일한 시간에 소스에서 추출 할 수 없으므로 동일한 소스를 사용할 수 있습니다. 적어도이 접근법을 사용하려면 다른 요청이 없습니다. –