다 변수 테스트에 어떻게 GAE 트래픽 분할을 사용합니까?

Question

새로운 GAE traffic splitting 기능이 오늘 발표되었으며 의도 된 용도 중 하나는 다 변수 테스트를위한 것입니다. 이것은 여러 가지 버전의 응용 프로그램을 빌드하고 배포해야 함을 암시하는 것처럼 보일 수 있습니다. 이는 버전 변형 제어 시스템 (테스트 당 하나의 분기)을 분기했음을 의미하는 테스트 변형마다 하나씩 포함해야합니다. 이것은 테스트를 관리하는 비효율적 인 방법처럼 보입니다. 또한 여러 테스트를 관리하기위한 사용자 인터페이스가 포함 된 Google's Website Optimizer과 달리 모든 유형의 통계 수집 및 분석 도구가 포함되어있어 테스트 관리를위한 프레임 워크를 포함하지 않습니다.

다 변수 테스트를 위해 새로운 트래픽 분할 기능을 사용하려는 사람이 있습니까? 웹 사이트 최적화 도구를 사용하는 이유는 무엇입니까? 트래픽 분할 테스트를 어떻게 설정 하시겠습니까? 버전 관리 시스템을 분기하고 테스트를 측정 및 분석하기위한 자체 인프라를 작성 하시겠습니까? 또는 자신의 코드를 작성하는 대신이 목적으로 잘 작동하는 다 변수 테스트 라이브러리가 있습니까?

Answer 1

배포 된 응용 프로그램의 버전간에 트래픽 분할을 선택합니다. 버전 제어에서 다른 버전 일 필요는 없습니다. 각 버전의 코드는 전혀 다를 필요가 없습니다. 자바에서는 appengine-web.xml에 버전을 정의합니다.

간단한 A-B 테스트를 실행하여 사이트 버전과 광고 버전을 비교하고 싶어합니다. 이탈률,로드 시간, 광고 효과 등에 영향을 미칠 수 있습니다. 당신의 코드에서, 당신은 단지 같은 플래그를 사용하여 코드 블록에 광고를 표시하는 코드를 래핑 수 :

if (ADS_ON) { 
    // display ad... 
} 

당신은 참으로 응용 프로그램 버전 "광고-의"설정하고 ADS_ON를 설정하고 배포 할 수 있습니다. 그런 다음 응용 프로그램 버전을 "ads-off"로 설정하고 ADS_ON을 false로 설정하고 다시 배포하십시오.

이제 입력 해 보았습니다. 그래, 좀 이상하지 않지만,이 새로운 기능을 사용하면 이전에 할 수 없었던 일들을 수행 할 수 있습니다. 각 버전에 대한 appengine 대시 보드를보고 리소스를 소비하는 방법을 비교할 수 있습니다.

완전히 다른 두 가지 구현의 실행 비용을 테스트하려면 버전 제어에 두 개의 분기가 있어야합니다.