A/B 테스트 : 후속 테스트에서 비교할 버전

Question

중요한 결과를 내지 않은 A/B 테스트 후 후속 테스트 실행에 대한 토론이 있습니다. 따라서 우리는 기존의 컨트롤 페이지 (C)를 가로 레이아웃으로, 새로운 변형 (V1)을 열 레이아웃으로 테스트했습니다. 2 개월의 실행 후, 변형 V1은 제어 페이지 C보다 2 % 더 높은 수익을 얻지 만, 원래보다 높을 확률은 58 %에 불과합니다. 그래서 우리는 테스트를 중단하기로 결정했습니다. 중요한 결과를 얻지 못할 가능성이 매우 낮기 때문입니다.

이제 변형을 수정하고 다른 테스트를 시작하겠습니다. 내 생각은 새로운 변형 (V2)을 만들고 이전 제어 페이지 (C)에 대해 테스트하는 것입니다. C vs. V2.

그러나 제 동료는 다른 대안 인 V1과 V2의 차이를 테스트하기를 원합니다.

이 문제를 해결하는 적절한 방법은 무엇입니까? 우리는 C 대 V2 또는 V2 대 V1을 테스트해야합니까?

Answer 1

V1을 만들기 위해 C에서 변경 한 것과 같은 소리는 전환율에 통계적으로 유의미한 영향을 미치지 않았습니다. 당신이 당신의 다음 테스트를 설정하는 방법에 대한 두 가지 옵션이 있습니다 사이트에 얼마나 많은 트래픽을 기반으로

: 귀하의 사이트에 트래픽이 많지 않은 경우

• , 당신이 할 수있는 V2를 C 또는 V1 (주관적이고 사용자의 취향에 따라 선택할 수 있음)과 비교하십시오.
• 사이트에 트래픽이 많은 경우 (테스트가 중요하지 않을 것이라고 확인하는 데 2 ​​개월이 걸렸을 때와 달리 소리가 들리지 않음), 세 가지 버전을 서로 테스트 할 수 있습니다. A/B/C 형식으로 첫 번째 테스트 결과를 확인하십시오. 두 번 확인하는 한 가지 방법은 Sample Size Calculator을 사용하여 실험을위한 충분한 샘플 크기를 확보하는 것입니다.

Answer 2

첫 번째 후속 조치는 다음과 같아야합니다. V1에서 2 % 매출이 급증하게 된 이유는 무엇입니까?

• 클릭 한 특정 요소로 인해 발생 했습니까?
• 페이지/링크를 자주 방문하기 때문에 그렇습니까?

질문에서 얻은 내용에 따라 배운 내용을 컨트롤이나 V2에 적용 할 수 있습니다.

반복을 계속하는 것이 중요합니다 (C> V1> V2). 테스트를 분석 할 수 있도록 분석하는 것도 똑같이 중요합니다.