데이터 전송 속도를 향상시키는 방법 SSIS에서

Question

나는 약 700,000 개의 행을 가진 테이블을 가지고 있습니다. 그것에는 11 개의 열이 있으며, 그 중 하나는 varchar (최대) 열이며 xml 데이터를가집니다. 이제이 데이터를 한 서버에서 다른 서버로 전송해야합니다. 나는 SSIS 패키지에 대해 다음과 같이했다. 하나의 데이터 흐름 작업에서 처음으로 100,000을 가져오고 하나의 데이터 흐름 작업을 추가 할 때마다 (10MB - 100MB) defaultbuffersize를 변경하고 low와 high로 defaultbufferRow를 수정했습니다. 테이블을 쿼리하는 데 오랜 시간이 걸리지 만 데이터를 너무 빨리 작성합니다. 나는 varchar (max) 컬럼을 삭제하고 5 분도 걸리지 않았다.

그래서 varchar 열을 추가하면 약 13 시간이 걸립니다.

.Net 코드를 데이터 세트로 시도한 후에 bulkinsert를 사용하고 TPL을 사용하여 모든 프로세스 코드를 사용했습니다. 그러나 나는 어떤 중요한 차이점을 볼 수 없습니다.

도움을 주시면 감사하겠습니다.

Answer 1

700000은 많은 행이 아닙니다. 정말 필요합니까 varchar (최대) 나는. len()이 8000을 초과합니까? 그렇지 않은 경우 - varchar (8000)로 캐스팅하면 버퍼 크기가 작아집니다. 네트워크 입출력이 문제가 될 수 있습니까? 데이터를 유럽에서 유럽으로 이전하고 다시 예를 들어 보겠습니다. 어떤 경우에는 네트워크 패킷 크기를 33k로 늘리십시오. 최신 하드웨어에서는이 데이터를 전송하는 데 1 시간 이상 걸리지 않습니다. 나는 10 분을 바랄 텐데! 좋은 테스트는 인덱스 나 제약 조건이없는 빈 테이블로 전송하는 시간입니다. 이것이 빠르면 prob가 어디에 있는지 확인해야합니다.