전체 웹 사이트 디자인을 A/B 테스트하는 방법

Question

우리는 새로운 웹 사이트 디자인을 만들고 100 %로 자르지 않고 쉽게 테스트 할 수 있도록하기를 바랍니다. 목표는 사용자가 http://oursite.com을 방문하여 '이전'웹 사이트 또는 새 사이트를 얻도록하는 것이며 새 사이트를받는 사람의 비율을 10 %, 50 % 등으로 조정할 수 있습니다.

페이지에 대한 A/B 테스트에 익숙하지만 전체 웹 사이트 도메인에는 적합하지 않습니다. 우리는 LAMP 스택에 있으므로 Apache VHosts로이 작업을 수행 할 수 있습니까? 클라우드로드 밸런서 뒤에 2 개의 클라우드 서버가 있습니다. 새 사이트는 svn 브랜치에 완전히 포함되어 있으며 현재 프로덕션 사이트에는 svn 트렁크가 부족합니다.

내가 이것을 어떻게 풀 수 있는지에 대한 권장 사항은 무엇입니까?

고마워요!

Answer 1

절대적으로이 작업을 수행 할 수 있으므로 전환율을 높이는 데 큰 효과가있는 사항을 신속하게 파악할 수 있습니다. 몇 가지 사항에 따라 다릅니다.

1. 사이트에 공통 헤더가 있습니다. A/B 테스트 CSS 파일이므로 전체 사이트 (또는 사이트 섹션)에 대한 단일 CSS 호출이있는 경우에만 작동합니다.
2. 사이트 디자인의 차이점 만 테스트하고 있습니다. 이 시나리오에서 모든 콘텐츠, 양식, 클릭 유도 문안 (call to action) 등은 버전간에 동일합니다. 기술적으로 다른 페이지 요소에 대해 별도의 테스트를 동시에 실행할 수 있습니다. 나는 결과의 해석이 혼란스러워지기 때문에 이것을 추천하지 않는다.
3. 귀하가 선택한 A/B 테스트 플랫폼은 방문하는 동안 방문자에게 동일한 버전을 보여주는 것을 지원합니다. 그들이 다른 페이지를 명중 할 때마다 위치 주제가 변화하는 것을 보는 것은 아주 초조 할 것입니다. 내가 사용한 대부분의 A/B 테스트 플랫폼에는이 옵션이 있습니다.

당신이 버전간에 상당한 차이를 테스트하고 있기 때문에, 나는 또한 당신이 시작하기 전에 샘플 크기를 계산하는 것이 좋습니다. 이렇게하면 잃어버린 버전을 너무 많은 사람들에게 보여줄 수 없으며 결과에 대한 확신을 줄 것입니다 (통계적으로 유의미한 결과가 나올 때까지 테스트를 실행하는 것은 mistake입니다). 사용할 수있는 몇 가지 온라인 계산기가 있습니다 (VisualWebsiteOptimizer, Evan Miller).