MDP - 전환 확률을 생성하는 기술

Question

다음과 같이 MDP 자동차 공급 및 수요 문제를 해결하고 수동으로 전환 확률 매트릭스를 자동으로 생성하는 기술이 있는지 생각하고있었습니다. ,
1030 3 1
1,100 1,2,3

는 스테이션 1에서 차 가정,
시간, 1 국, 2 국
(1000) 3 :

는 수요가 다음과 같다 가정 자동차가 역 1에서 떨어지고 40 %의 기회가 역 2에서 떨어질 확률은 60 %입니다. station2에서 오는 차량의 경우, station1에서 차량이 떨어지고 station2에서 20 %가 떨어질 확률이 80 %입니다.

나는 수동으로 다음을 계산했습니다. 시간 간격 1에서

,

P(car at station1 = 2,car at station2 = 8) = 0.0432 
P(car at station1 = 3,car at station2 = 7) = 0.2016 
P(car at station1 = 4,car at station2 = 6) = 0.1344 
P(car at station1 = 5,car at station2 = 5) = 0.0896 
P(car at station1 = 6,car at station2 = 4) = 0.0512 

따라서, 사람이 자동 시간 단계 2의 확률을 계산하기위한 통찰력을 제공 할 수있는 것이 아니라 손으로 계산할 여부를 확인하고자 할 것이다.

귀하의 조언을 pls.

Answer 1

귀하의 질문에 대한 확신이 없습니다.

고정 마르코프 과정에서, 상태 변수 x_t의 분포 (여기서, 단말은 어느 차량에서) 주어진 시간 t에서만 시간 t-1의 천이 행렬 P과 상태의 함수 인 경우.

t에 대해 x_t = x_{t-1} * P을 쓸 수 있습니다. 즉, x_t = x_0 * P^t을 의미합니다. 및 P = [ 0.6 0.4 ; 0.8 0.2 ]를 사용하여 (자동차 균등 두 스테이션 x_0 = [0.5 0.5] 사이에 분산되어, 예를 들어 경우, 시작시 차의 분포) x_0을 알고

, 당신은 언제든지 x_t = x_0 * P^t로 t > 0에서 자동차의 분포를 얻을.