Google 웹 최적화 도구 - 조합을 획득 할 때까지의 기간은 얼마입니까?

Question

나는 A/B 테스트를 Google 웹 옵티 마이저에서 6 주 동안 실행했지만 아직 끝이 보이지 않습니다. 구글은 여전히 ​​상당한 성과를 보이기에는 충분한 데이터를 수집하지 못했다. 데이터를 더 수집 할 때 우위를 차지할 수 있어야한다 "고 말했다.

Google이 마음을 다지기 위해 얼마나 가까운 거리에 있는지 알 수있는 방법이 있습니까? 구글 도움말 문서에 따르면

을 (? 사람이 어떤 "높은 신뢰도 수상자"가있었습니다 경우 알고리즘이 결정하는 데 사용하는 무엇을 알고 있습니까) :

때때로 우리는 간단하게 할 수있을 에 더 많은 데이터가 필요 높은 수준의 도달 자신감. 테스트 된 조합 은 일반적으로 으로 성능을 판단 할 수 있도록 약 200 번의 전환이 필요합니다.

그러나 우리의 변환의 모든 순간에 200 개 이상의 대화가 :

4,061분의 230 (원본)
3,937분의 223 (변화 1)
3,984분의 205 (변화 2)
(205)/4007 (변형 3)

얼마나 더 오래 실행해야합니까 ??

도움 주셔서 감사합니다.

Answer 1

Google이 마음을 다지기에 얼마나 가까운지 알 수있는 방법이 있습니까?

GWO 계산기를 사용하면 제공 한 가정의 수에 따라 테스트 기간을 결정할 수 있습니다. 테스트 조합간에 큰 차이가 없을 수도 있음을 명심하십시오. 어떤 경우에 가장 적합한 테스트인지는 무한한 시간이 걸릴 것입니다. 우승자를 찾을 수 없기 때문입니다.

(누구?는 "높은 신뢰도 수상자"가있었습니다 경우 알고리즘이 결정하는 데 사용하는 무엇을 알고 있나요)

That is a mystery 모두없는 경우, 그러나 대부분으로, 통계 테스트, 무엇이있다 우연히 관찰 된 것만 큼 극단적 인 결과를 얻을 확률 인 p- 값을 불렀습니다. GWO 테스트는 p- 값이 임계 값 (아마도 5 %)을 넘을 때까지 실행됩니다. 더 명확하게 말하면, GWO 테스트는 조합이 원래 조합보다 훨씬 더 좋을 때까지 실행되므로 결과 만 우연히 발생하면 5 %의 확률을 갖습니다.

테스트 결과 중요한 승자가없는 것처럼 보입니다. 넥타이입니다.