Optimizely reliability

Question

우리는 Optimizely를 사용하기 시작했으며 그 결과에 힘 입어 공격적인 캠페인을 만들기 시작했습니다. 하지만 그때 우리는 뭔가 잘못되었다는 것을 깨달았고 우리가 얻을 수있는 도움을 주시면 감사하겠습니다.

파란색 CTA 대신 홈페이지에서 테스트 한 결과 초록색 CTA가있는 대안 콘텐츠가 생성되었으며 유사 콘텐츠로 전환 수가 35 % 증가했습니다. 그래서 우리는 물건을 바꾸고 녹색 CTA를 대조군으로, 파란색 CTA를 변형으로 설정했습니다. 녹색 CTA가 더 좋은 것이 사실이라면 파란색 CTA의 변형으로 전환 수가 35 % 감소해야합니다. 대신 변형률이 높아지고 전환율이 높아졌습니다.

내가 잘못하고있는 것을 정확히 찾아 낼 수는 없지만 일반적으로 모든 유사 콘텐츠는 대조군보다 높은 성공률을 보입니다. 그러나 우리가 주변 환경을 전환하고 유사 콘텐츠를 대조군으로 설정하면 결과에 't 스위치.

Answer 1

어떻게 전환을 측정합니까? 한 번 이상 여러 번 측정하는 것이 좋습니다. 예를 들어 CTA 실험의 경우 클릭 수, 링크가 리디렉션되는 페이지의 방문수, 올바른 양식 제출 등을 측정 할 수 있습니다. 데이터에 대한 시각을 넓히고 변경 사항을 확인하십시오. 항상 사용자 경험의 다른 부분에 영향을 미칠 것입니다.

Answer 2

시도 : 결과 페이지에서 각 변화 당신이 별도의 테스트에서 테스트하면 나는 어쩌면 당신은 그것을 내가 일반적으로 선호하는 적절한시기를하게 didnt는, 통계적으로 유의 의 90 %를 설정하는 것이 좋습니다에 개선을 확인하기 위해 서로 다른 세그먼트를 적용 계절성을 피하기 위해 1 주일간 기다려야합니다.

Answer 3

이미 실행중인 실험을 조정하고 있습니까? 실험을 시작한 후에는 사용자가 버킷에 들어 있으므로 실험이 실행 된 후 또는 수행 중에 누가 제어 도구에 속한 것인지를 전환하는 등의 조정을하면 신선한 말을하지 않게됩니다. 설명하는 조정을 수행하는 경우 새 실험을 만들어야합니다.