신경망과 시간차 학습

Question

시간적 차이 학습에 관한 논문과 강의 (일부는 TD-Gammon에 대한 Sutton 튜토리얼과 같은 신경망 관련)를 읽었지만 방정식을 이해하는 데 어려움을 겪고 있습니다. , 나는 나의 질문으로 이끌었다.

- 예측값 V_t는 어디서 오는가? 그리고이어서 V_ (t + 1)을 어떻게 구할 수 있습니까?

- TD를 신경망과 함께 사용할 때 정확하게 전파 되나요? 즉, TD를 사용할 때 다시 전파되는 오류는 어디에서 발생합니까?

Answer 1

역방향 및 정방향보기는 혼란 스러울 수 있지만 게임 재생 프로그램과 같은 간단한 것을 다루는 경우 실제로는 매우 간단합니다. 사용중인 참조를보고 있지 않으므로 일반적인 개요 만 알려 드리겠습니다.

신경망과 같은 함수 근사자가 있고 특정 출력에 대해 학습하고 상태 결과를 예측하는 데 두 가지 기능, train 및 predict이 있다고 가정합니다. (주어진 주에서 행동을 취한 결과)

게임을 플레이했을 때의 흔적이 있다고 가정하면, predict 메쏘드를 사용하여 각 점에서 어떤 움직임을 보이는지 말해 주며, 경기가 끝나면 잃는다 (V = 0). 내 상태가 s_1, s_2, s_3 ... s_n이라고 가정합니다.

몬테카를로 접근법은 추적 및 최종 스코어를 사용하여 트레이스의 각 상태에서 내 함수 근사자 (예 : 신경 네트워크)를 트레이닝한다고 말합니다. 그래서,이 추적 주어, 당신은 전화처럼 뭔가를 할 것이다 :

train(s_n, 0) train(s_n-1, 0) ... train(s_1, 0)을.

즉, 나는 모든 국가가 추적의 최종 결과를 예측하도록 요청하고 있습니다.

동적 프로그래밍 접근법은 다음 상태의 결과를 기반으로 훈련한다고 말합니다. 그래서 내 훈련은

train(s_n, 0) train(s_n-1, test(s_n)) ... train(s_1, test(s_2)) 같은 것입니다.

즉, 마지막 상태가 트레이스의 최종 결과를 예측할 때 다음 상태가 예측하는 것을 예측하기 위해 함수 근사자를 요구합니다.

TD 학습은 λ=1이 첫 번째 경우 (몬테카를로)에 해당하고 λ=0이 두 번째 경우 (동적 프로그래밍)에 해당합니다. 우리가 λ=0.5을 사용했다고 가정합니다. 그리고 우리의 교육은 다음과 같습니다

train(s_n, 0) train(s_n-1, 0.5*0 + 0.5*test(s_n)) train(s_n-2, 0.25*0 + 0.25*test(s_n) + 0.5*test(s_n-1)+) ... 이제

당신이 실제로 다시 테스트하지 않기 때문에, 내가 여기에 쓴 것은 완전히 정확하지 각각의 approximator 단계. 대신 예상 값 (예제에서는 V = 0)으로 시작한 다음 다음 단계를 다음 예측 값으로 학습하도록 업데이트합니다. V = λ·V + (1-λ)·test(s_i).

몬테카를로와 동적 프로그래밍 방법보다 훨씬 빠릅니다. 알고리즘에 극한 값을 알지 않기 때문입니다. (현재 예측을 무시하거나 최종 결과를 무시합니다.)