Google 실험 실적이 우수하지 않습니까?

Question

오늘 Google 웹 로그 분석에서 이상한 점을 만났습니다. 내 실험 중 하나가 94.7 %의 실적을 능가하고 52 %의 실적을 올린 상태에서 여전히 '수상자를 찾을 수 없음'상태로 끝나는 확률로 종료되었습니다.

누군가이 상황을 만났습니까? 왜 그래야만하지?

Answer 1

이것은 사용자가 컨트롤보다 나은 버전을 사용하는 동안 95 % confidence interval에 도달하기에 충분하지 않음을 의미합니다. 즉, 승자가 있지만 통계적으로 유의미하지 않거나이 테스트의 결과가 무작위 일 가능성이 있습니다.

노출 수와 전환 수가 더 구체적이지 않은 것을 보지 않아도됩니다. 내 생각에이 테스트의 전환율은 매우 낮고, 승리 버전의 개선 정도는 매우 적거나 둘 다입니다.

진행 방법에 대한 몇 가지 옵션이 있습니다.

1. 대조군과 가장 강력한 변종만을 사용하여 테스트를 반복하십시오. 두 가지 버전으로 테스트를 반복하면 테스트의 중요성에 도달 할 수 있습니다.
2. 가장 강력한 변형을 구현하고 테스트 할 다른 것을 찾으십시오. 이것은 제가 선택한 것 같습니다. 이상적으로는 전환율에 가장 큰 영향을 줄 페이지 요소를 식별하려고합니다.

어느 쪽이든, 현재 테스트를 끝내겠습니까? 이 시점에서 더 오래 실행하면 아무 것도 얻을 수 없습니다.