델타를 찾는 가장 좋은 방법은 무엇입니까?

Question

SSIS 패키지 작업에 익숙하지 않으며 방문에서 준비까지 데이터를 가져올 때 델타를 찾는 최상의 방법에 대해 혼란 스럽습니다. 요구 사항은 Consolidated Data Store (CDS)에서 몇 가지 보고서를 작성하고 dource에서 Landing, Staging, ETL 패키지로의 CDS 로의 데이터 흐름이며, 마지막으로 보고서는 CDS에서 작성됩니다.

소스에서 랜딩으로 데이터를 이전하는 데 성공한 패키지를 만들었습니다. 마지막 ETL 실행에서 2 번 변경하면 데이터를 이전 날짜의 데이터로 반환 할 수 있으므로 마지막 ETL 실행 이후 변경 사항이 없음을 의미하므로 수정 된 날짜가 충분하지 않아서 착륙에서 준비로 데이터를 이동하는 것이 다소 혼란 스럽습니다. 예를 들어 값이 A에서 B로 변경된 다음 다시 A로 변경되면 데이터가 원래 상태로 돌아 왔지만 modifiedOn 열은 변경되었음을 나타냅니다.

랜딩의 모든 열을 스테이지의 기존 열과 비교하거나 보고서를 전달하는 것과 관련된 열만 비교해야합니까? 또는 델타를 찾을 수있는 또 다른 방법이 있습니까?

불분명하거나 자세한 내용이 필요한 경우 알려주십시오.

Answer 1

귀하의 비즈니스에 대한 질문입니다. 우리는 요구 사항 문서에서 델타로 간주되는 것을 정의 할 것으로 기대합니다. 어떤 사람들은 단지 몇 개의 필드 일 뿐이며 다른 것들은 모든 것입니다. 그것은 onteh 비즈니스 요구에 달려 있습니다. 누구에게나 당신에게 요구 사항을 준 사람에게 질문을 던질 것입니다. 비즈니스를 잘 이해하지 못한 경우 델타가 될 것이라고 생각하는 내용과 자신이 알아서 할 필요가없는 대부분의 시간을 제안 이메일에 포함시켜 제안을 수락 할 수 있습니다. 그러나 데이터와 관련된 일반적인 비즈니스 요구 사항을 실제로 이해하는 경우에만 그렇게하십시오. 결정을 내리는 데 도움이되는 다양한 가능성에 대해 프로와 단점을 제공 할 수도 있습니다.

Answer 2

왜 정확한 델타를 가져 오시겠습니까? 내 말은 왜 당신이 이미 CDS에 맡기고있는 행을 원하고 진정한 변화가 없다면 다시 커밋 될 것인가? 이 작업을 수행하는 데 비즈니스 이유가 없다면 (보고가 필요한 경우) 필요하지 않은 곳에 복잡성이 추가되는 것 같습니다.

어쨌든이 기능이 정말 필요한 경우 흥미있는 열의 CHECKSUM을 계산하고 이전 행의 체크섬으로 새 행의 체크섬을 확인하는 것이 좋습니다. 이 blog은 체크섬 사용 방법을 이해하는 데 도움이됩니다.