з дискретними станами і безперервним часом (безперервний ланцюг Маркова);
з безперервним станом і безперервним часом.
У даній роботі будуть розглядатися тільки марковські процеси з дискретними станами
Марківські процеси з дискретними станами зручно ілюструвати за допомогою, так званого графа станів, де гуртками позначені стану системи, а стрілками - можливі переходи зі стану в стан. На графі зазначаються тільки безпосередні переходи, а не переходи через інші стани. Можливі затримки в колишньому стані зображують В«петлеюВ», тобто стрілкою, спрямованої з даного стану в нього ж. Число станів системи може бути як кінцевим, так і нескінченним (але рахунковим). <В
Рис. 1. Граф стану системи
1.2 Марківські ланцюга
Марківський випадкові процес з дискретними станами і дискретним часом називають Марківської ланцюгом. Для такого процесу моменти, коли система може міняти свій стан, розглядають як послідовні кроки процесу, а в якості аргументу, від якого залежить процес, виступає не час t, номер кроку 1, 2, ..., k, ... Випадковий процес в цьому випадку характеризується послідовністюстанів де - початковий стан системи (перед першим кроком); - стан системи після першого кроку; - стан системи після k-го кроку ...
Подія стан в тому, що відразу після k-го кроку система перебуває в стані є випадковою подією. Послідовність станів можна розглядати як послідовність випадкових подій. Така випадкова послідовність подій називається Марківської ланцюгом, якщо для кожного кроку ймовірність переходу з будь-якого стану в будь-якому не залежить від того, коли і як система прийшла в стан. Початковий стан може бути завданням заздалегідь або випадковим. p> ймовірність станів ланцюга Маркова називаються ймовірності того, що після k-го кроку (і до (k +1) - го) система буде перебувати в стані. Очевидно, для будь-якого k
В
Початковим розподілом ймовірностей Марківського ланцюга називається розподіл ймовірностей станів на початку процесу:
В
В окремому випадку, якщо первісний стан системи S в точності відомо, то початкова ймовірність, а всі інші рівні нулю. Імовірність переходу на k-му кроці зі стану в стан за умови, що безпосередньо перед цим вона знаходиться в стані. p> Оскільки система може перебувати в одному з n станів, то для кожного моменту часу необхідно задати ймовірностей переходу, яке зручно представити у вигляді такої матриці:
В
де - імовірність переходу за один крок зі стану в стан.
Матриця називається перехідною або матрицею перехідних ймовірностей.
Якщо перехідні ймовірності не залежать від номера кроку, а залежать тільки від того, з якого стану в яке здійснюється перехід, то відповідна ланцюг Маркова називається однорідною.
Перехідні ймовірності однорідного Марківського ланцюга утворюють квадратну матрицю розміру. Відзначимо деякі її особливості:
1.
