최적의 엡실론 (ε-욕심) 값

Question

ε 욕심 정책

가 나는 Q 학습 알고리즘이 탐사 및 착취 사이에 균형을 시도해야한다 알고있다. 필자는이 분야의 초보자이므로 간단한 탐구/착취 동작 버전을 구현하고자했습니다.

최적의 엡실론 값

내 구현은 ε 욕심 정책을 사용하지만 엡실론 값을 결정하기에 올 때 나는 손실에 있어요. 엡실론은 알고리즘이 주어진 (상태, 동작) 쌍을 방문한 횟수 또는 수행 된 반복 횟수로 묶여 야합니까?

내 제안 :

1. 낮은 주어진 (상태, 행동) 쌍 발생했습니다 때마다 엡실론 값입니다.
2. 완전한 반복이 수행 된 후에 엡실론 값을 낮추십시오.
3. 상태가 발생할 때마다 ε 값을 낮 춥니 다.

많은 감사를드립니다!

Answer 1

많은 간단한 경우 εk는 0과 1의 범위에서 고정 된 숫자로 유지되지만 다음을 알아야합니다.일반적으로 탐사는 시간이 지남에 따라 감소하므로 점근 적으로 사용되는 정책은 욕심이 많으므로 (Qk → Q *) 최적. 이것은 k가 커짐에 따라 εk를 0에 접근시킴으로써 달성 될 수있다. 예를 들어, εk = 1/k 형태의 ε- 유인 탐사 일정은 Q- 학습의 두 번째 수렴 조건, 즉 모든 국가 행위에 무한히 많은 방문을 허용하면서 k → ∞로 0으로 감소한다 쌍 (Singh et al., 2000).

은 내가 일반적으로 할 것은 이것이다 : 는 초기 알파 = 1/k는 (초기 K = 1을 고려 또는 2) 설정 k는 알파가 감소 증가로 당신은 재판에 의해 재판을 이동 한 후. 또한 컨버전스를 보장합니다.

Answer 2

옳지 않은 경우가 아니면 일반적으로 ε을 양수 상수로 설정하는 것이 좋습니다.