우리는 VMWare 및 NUnit을 사용하여 자동 회귀 테스트를 개발하고 있습니다. 테스트를 단계별로 나누었으며 이제는 각 단계를 성능 회귀에 대해 검토하고 싶습니다. NUnit처럼 테스트 타이밍을 맞추기 만해도 신뢰할 만하지는 않습니다. 나는 약 15 %의 인수 요인으로 생각했지만, 우리의 단계는 때때로 35 % 이상으로 다를 수 있습니다. 이러한 리소스 종속 테스트 환경에서 성능을 테스트하는 일관된 방법이 있습니까? "스마트"타이밍 시스템이 유일한 옵션입니까?성능 테스트
이러한 종류의 성능 테스트에는 단순한 합격/불합격 결과를 줄 수있는 시스템이 없습니다. 실생활에서 시스템을 변경하면 어떤 일이 더 빨라지고 다른 일은 느려지므로 일반적으로 "더 좋음"과 "좋지 않음"중 하나가 아니라 다른 종류의 더 나은 선택입니다. (물론, 엄격하게 악화되는 경우는 피하고 싶습니다.)
과거에 내가해온 것은 통계를 계속 유지하는 것입니다. 테스트를 실행할 때마다 수정 번호와 테스트 타이밍이있는 SQL 데이터베이스에 결과를 드롭하십시오. 그런 다음 필요할 때 언제든지 그래 프를 그래프로 표시 할 수 있습니다 (팀의 모든 사람들이 검토 할 수 있도록 작은 웹 애플릿에 이상적으로 표시). 성능이 추세를 오르 내리고 있는지 또는 특정 수정 이후 성능이 빨려 드는지 확인하십시오.
여기서 중요한 점은 그래프 일 필요가 있다는 것입니다. 그런 식으로 인간의 눈은 그것을보고 추세를 찾을 수 있습니다. AI 알고리즘을 사용하여 수치 적으로 데이터를 분석하려고 일주일 내내 노력할 수는 있지만 인간의 패턴 인식 능력을 결코 능가하지는 못할 것입니다.
Ants Profiler와 같은 도구에서 사용할 수있는 기능을 살펴 보았지만 메서드 실행/실행 시간을 제공하지만 반복 테스트의 관점에서 제공하는 기능이 확실하지 않습니다.
성능 테스트와 관련하여 저는 VM웨어 또는 다른 가상화 프로세스를 사용하는 것에 대해 회의적이었습니다. 과거에 우리가 처리 한 방식은 정적 시스템에 최신 버전을 설치하고 테스트를 실행하는 것입니다. 가상화 외부에서보다 일관된 결과를 볼 수 있어야합니다.