) з стану I у стан j. Якщо ці ймовірності не залежать від номера кроку процесу, то така ланцюг Маркова називається однорідною.
Нехай число станів системи звичайно й дорівнює m. Тоді її можна характеризувати матрицею переходу P 1 , яка містить всі ймовірності переходу:
p 11 p 12 ... p 1m
p 21 p 22 ... p 2m
............
P m1 p m2 ... p mm
В
Природно, по кожній рядку ОЈ p ij = 1, I = 1, 2, ..., m. p> Позначимо p ij (n) - ймовірністю того, що в результаті n кроків система перейде зі стану I у стан j. При цьому при I = 1 маємо ймовірності переходу, що утворюють матрицю P 1 , тобто p ij (1) = p ij
Необхідно, знаючи ймовірності переходу p ij , знайти p ij (n) - імовірності переходу системи зі стану I у стан j за n кроків. З цією метою будемо розглядати проміжне (між I і j) стан r, тобто будемо вважати, що з первісного стану I за k кроків система перейде в проміжний стан r з імовірністю p ir (k), після чого за залишилися nk кроків із проміжного стану r вона перейде в кінцевий стан j з імовірністю p rj (nk). Тоді за формулою повної ймовірності
P ij (n) = ОЈ p ir (k) p rj (nk) - рівність Маркова. br/>
Переконаємося в тому, що, знаючи всі ймовірності переходу p ij = p ij (1), тобто матрицю P 1 переходу зі стану в стан за один крок, можна знайти ймовірність p ij (2), тобто матрицю P 2 переходу зі стану в стан за два кроки. А знаючи матрицю P 2 , - знайти матрицю P 3 переходу зі стану в стан за три кроки, і т.д.
Дійсно, думаючи n = 2 у формулі P ij (n) = ОЈ p ir (k) p rj (nk), тобто k = 1 (проміжне між кроками стан), отримаємо
P ij (2) = ОЈ p ir (1) p rj (2-1) = ОЈ p ir p rj
Отримане рівність означає, що P 2 = P 1 P 1 = P 2 1
Вважаючи n = 3, k = 2, аналогічно одержимо P 3 = P 1 P 2 = P 1 P 1 2 = P 1 3 , а в загальному випадку P n = P 1 n
Приклад
Сукупність сімей деякого регіону можна розділити на три групи:
1. сім'ї, які не мають автомобіля і не збираються його купувати;
2. сім'ї, які не мають автомобіля, але які мають намір його придбати;
3. сім'ї, що мають автомобіль.
Проведене статистичне обстеження показало, що матриця переходу за інтервал в один рік має вигляд:
0,8 0,1 0,1
0 0,7 0,3
0 0 1
(У матриці P 1 елемент р 31 = 1 означає ймовірність того, що сім'я, що має автомобіль, також буде його мати, а, наприклад, елемент р 23 = 0,3 - імовірність того, що родина, що не мала автомобіля, але вирішила його придбати, здійснить свій намір наступного року, і т.д.)
Знайти ймовірність того, що:
1. сім'я, що не мала автомобіля і е збиралася його придбати, буде перебувати в такій же ситуації через два роки;
2. сім'я, що не мала автомобіля, але має намір його придбати, буде мати автомобіль через два року.
РІШЕННЯ: знайдемо матрицю переходу Р 2 через два роки:
0,8 0,1 0,1 0,8 0,1 0,1 0,64 0,15 0,21
0 0,7 0,3 0 0,7 0,3 0 0,49 0,51
0 0 1 0 0 1 0 0 1
Тобто шукані в прикладі 1) і 2) імовірності рівні відповідно
р 11 = 0,64, р 23 = 0,51
Далі розглянемо Марківський випадковий процес з дискретними станами і безперервним часом, в якому, на відміну від розглянутої вище ланцюга Маркова, моменти можливих переходів системи зі стану не фіксовані заздалегідь, а випадкові.
При аналізі випадкових процесів з дискретними станами зручно користуватися геометричною схемою - так званим графіком подій . Зазвичай стану системи зображуються прямокутниками (кружками), а можливі переходи зі стану в стан - стрілками (орієнтованими дугами), з'єднують стану.
Приклад. Побудувати граф станів наступного випадкового процесу: пристрій S складається з двох вузлів, кожен з яких у випадковий момент часу може вийти з ладу, після чого миттєво починається ремонт вузла, що триває заздалегідь невідоме випадковий час.
РІШЕННЯ. Можливі стани системи: S 0 - обидва вузла справні; S 1 - перший вузол ремон...
