이 마크로프 체인의 상태 공간은 무엇입니까?

Question

두 사람이 테이블에 앉아서 세 권의 책을 공유하는 시스템을 생각해보십시오. 어느 시점에서든 둘 다 책을 읽으며 한 권의 책이 테이블에 남습니다. 한 사람이 현재 책을 읽었을 때 테이블 위에있는 책과 교환하고 책을 읽습니다. 독서 시간은 기하 급수적으로 배분되며, 사람 i가 책 j를 읽는 평균 시간을 bi, j로 나타냅니다.

Let b = [1 2 4] 
     [5 1 2] 

이게 마르코프 체인의 상태 공간이며 어떻게 레이트 행렬 Q를 구성 할 수 있는가?

나는 강의 노트에서이 연습을 얻었고 연속적인 시간 마크로프 체인이기 때문에 어떻게 든 상태 공간을 혼란스럽게 찾는다.

사람의 I1과 I2, 책 A, B, C

i1,A 
i1,B 
i1,C 
i2,A 
i2,B 
i2,C 

하지만 내가 어떻게 그래픽이를 나타낼 수

다음은 가능한 내가 생각할 수있는 상태는? 나는 시도했다. 그러나 각 사용자는 정확하지 않은 별도의 마크로프 체인 (reducible)을 가지고있다. 나는 거기에서 행렬 B의 비율에 기초한 비율 행렬을 구성하는 것이 좋다고 생각한다.

Answer 1

이것은이 문제를 해결하기위한 코드를 작성하려는 경우에도 http://stats.stackexchange.com에 더 잘 맞는 질문 중 하나입니다. 그 이유 중 하나는 쉽게 사용할 수있는 수학 모드가있는 반면, 그렇게하지 않는다는 것입니다. 하지만 어쨌든, 여기에 답을 해줄 것입니다.

마르코프 체인을 구성하려는 경우 연속 개념인지 이산 관계인지는 중요하지 않습니다. 이는 동일한 개념을 기반으로하며 형식적으로 간단한 전환으로 관련이 있기 때문입니다 (차액은 길이가 미소하게 될 때 파생됩니다. 오히려 당신이 국가의 정보 내용을 올바르게 얻는 것이 중요합니다. 따라서 전환을 위해 여기에 필요한 것을 평가해야합니다.

이렇게하기 위해 제안한 상태 변수는 충분하지 않습니다. 단일 판독기 만 포함되어 있으며 시간이 없습니다. 분명히 상태 변수에 독자와 책을 모두 필요로합니다. 그러나 그들이 시작한 시간도 필요합니다. 그렇지 않으면 책을 마칠 때 알 수 없습니다.

따라서, 하나의 가변 상태로 끝나는

전이 함수는 다음 판독이 완료 될 확률을 제공 금회 t, 상기 start_time에서 지수 분포를 통합하여 평가 될 수

S = ({book_reader_1, start_time_1}, {book_reader_2, start_time_2}) 

시간은 t입니다. 두 독자 모두를 위해 그렇게해야하지만, 독서 시간에 영향을 미치지 않으므로 독자적으로 할 수 있습니다.