우리 요원이 xx 및 yy 축을 따라 이동할 수있는 방에 있다고 가정 해 봅시다. 각 지점에서 그는 위, 아래, 오른쪽, 왼쪽으로 이동할 수 있습니다. 그래서 우리의 상태 공간은 (x, y)로 정의 될 수 있고 각 점에서의 우리의 행동은 (위, 아래, 오른쪽, 왼쪽)에 의해 주어진다. 우리 요원이 그를 벽에 부딪치게 할 행동을 취하면 우리는 그에게 -1의 부정적인 보상을 줄 것이며 그가 전에 있었던 상태로 되돌려 놓을 것이라고 가정합시다. 그가 방의 중심에서 꼭두각시를 찾으면 그는 +10 보상을 얻습니다.QLearning에서 부정적인 보상
주어진 상태/동작 쌍에 대한 QValue를 업데이트하면 새로운 상태에서 수행 할 수있는 작업이 무엇인지 파악하고 거기에 도달 할 수있는 최대 QValue를 계산하므로 Q (s, a) 현재 상태/동작에 대한 값. 이것이 의미하는 것은 목표 상태 (10, 10)가있는 경우, 주변의 모든 주에서는 더 멀리 떨어지면서 조금 더 작아지는 QValue를 갖게된다는 것입니다. 이제 벽과의 관계에서 똑같은 것이 사실이 아닌 것처럼 보입니다.
에이전트가 벽에 닿았을 때 (그가 (0, 0)의 위치에 있다고 가정하고 UP을했을 때) 그는 그 상태/행동에 대해 -1의 보상을받을 것이므로 Q 값 -1 .
나중에 상태 (0, 1)에 있고 상태 (0,0 0)의 다른 모든 동작을 0으로 가정하면 LEFT 동작의 (0, 1) QValue를 계산할 때 ,
Q([0,1], LEFT) = 0 + gamma * (max { 0, 0, 0, -1 }) = 0 + 0 = 0
이것은 당신이 긍정적 인 보상 상태를 가질 때 발생하는 반대 가까운 상태로 전파되지 않습니다 벽에 충돌 한 : 그것은에게 다음과 같은 방법을 계산합니다.
내 시야에는 이상하게 보입니다. 처음에 부정적인 보상을주는 주/행동 쌍을 찾는 것이 긍정적 인 보상만큼 좋은 학습 일 것이라고 생각했지만 위에 표시된 예에서 그 진술은 사실로 보지 않습니다. 부정적인 것보다 훨씬 긍정적 인 보상을 고려한 알고리즘에 편향이있는 것으로 보입니다.
QLearning의 예상되는 동작입니까? 나쁜 보상도 긍정적 인 것과 마찬가지로 중요하지 않아야합니까? 이것을위한 "work-arounds"는 무엇입니까?
* 프로그래밍 * 질문입니까, 아니면 * 이론 * 질문입니까? – Sampson