추천 시스템의 온라인 실험에서 중복 권장 사항을 처리하는 방법

Question

추천 시스템의 여러 전략을 비교하기 위해 온라인 사용자 실험을 실행하려고합니다. 18 가지 전략을 비교하고 각 전략은 5 가지 권장 사항을 산출하므로 대상에게 총 90 건의 추천을 평가하도록 요청해야합니다. 그러나 전략은 중복 추천을 만듭니다 (즉, 몇 가지 권장 사항은 여러 전략에 표시됨).

(i) 현재 디자인에서 각 페이지는 하나의 전략으로 5 가지 권장 사항을 제공합니다. 사용자가 모두에 대한 평가를 입력하면 또 다른 페이지가 나타나고 다른 전략에 의한 5 가지 권장 사항이 제공됩니다. 따라서 사용자는 이미 평가 한 권장 사항을 보는 경우가 있습니다. 중복 된 권장 사항을 처리하는 방법은 광범위하게 논의되지 않았지만이 디자인은 이전 연구에서 널리 사용 된 것으로 생각합니다.

(ii) 또는 모든 고유 권장 사항을 먼저 추출하고이를 다른 페이지로 나누어 무작위 순서로 표시하는 것이 합리적입니까? 이 디자인은 실험을 더 짧게 만든다고 생각합니다. 그러나이 디자인은 제 지식이있는 한 사용되지 않았습니다.

의견이 있거나 관련 서류가 있으면 알려주십시오.

Answer 1

알고리즘이 다르며 다른 방식으로 권장 사항을 생성하는 경우 몇 가지 유사한 권장 사항을 생성하더라도 권장 사항을 유지하지 않는 것처럼 유지해야하며 일부 권장 사항을 변경해야합니다 알고리즘을 사용하므로 실험의 건전성이 떨어집니다. 그들이 유사한 권고 사항을 생성 할 때 일부 사용자는 일부 사용자에게 너무 호의적이므로 사용중인 알고리즘에 관계없이 권장하지 못하게 할 수 있습니다. 그래서 당신은 그들을 지켜야합니다. 당신은 왜 이런 일이 일어 났는지 (내가 여기서 설명했던 것과 같은 것)를 사용자들에게 설명해야한다. 그래서 그 권고들을 반복적으로 보지 않아도된다.