х. p>
Рівняння Колмогорова для ймовірностей станів. Вичерпної кількісної характеристикою марковского процесу є сукупність ймовірностей станів, тобто ймовірностей p i (t) того, що в момент t процес буде перебувати в стані z i (t =
1, ..., n).
Розглянемо, як визначаються ймовірності станів за наведеним на рис. 3 графу станів, вважаючи всі потоки найпростішими. У випадковий момент часу t система може знаходитися в одному з станів z i з імовірністю p i (t). Надамо t мале збільшення і знайдемо, наприклад, p2 (t +) - ймовірність того, що в момент t + t система буде в змозі z2. Це може статися, по-перше, якщо система в момент t була в змозі z2 і за час не вийшла з нього, по-друге, якщо в момент t система була в стані z1 або z5 і за час перейшла в стан z2.
У першому випадку треба ймовірність р2 (t) помножити на ймовірність того, що за час система не перейде в стан z1, z3 або z4. Сумарний потік подій, що виводить систему зі стану z2, має інтенсивність. Значить, ймовірність того, що за час система вийде зі стану z2, дорівнює. Звідси ймовірність першого варіанту
В
Знайдемо ймовірність переходу в стан z2. Якщо в момент t система перебувала в стані z1 з імовірністю p1 (t), то ймовірність переходу в стан z1 за час дорівнює
В
Аналогічно для стану z5
В
Складаючи ймовірності та, отримаємо
,
Розкриємо квадратні дужки, перенесемо p2 (t) в ліву частину і розділимо обечасті на:
.
Якщо спрямувати до нуля, то зліва отримаємо похідну функції:
В
Аналогічні рівняння можна вивести для всіх інших станів. Виходить система диференціальних рівнянь:
(8)
Ця система лінійних диференціальних рівнянь дає можливість знайти ймовірності станів, якщо задати початкові умови. У лівій частині кожного рівняння варто похідна ймовірності i-го стану, а в правій - сума добутків ймовірностей всіх станів, з яких ведуть стрілки в даний стан, на інтенсивності відповідних потоків подій, мінус сумарна інтенсивність всіх потоків, які виводять систему з даного стану, помножена на ймовірність i-гo стану.
Уявімо рівняння Колмогорова в загальному вигляді:
(9)
Тут враховано, що для станів, не мають безпосередніх переходів, можна вважати
Граничні ймовірності станів. У теорії випадкових процесів доводиться, що якщо число п станів системи звичайно і з кожного стану можна перейти в будь-яке інше за кінцеве число кроків, то існують граничні (фінальні) ймовірності складаючись ний:
(10)
Сума ймовірностей всіх можливих станів дорівнює одиниці. При в системі S встановлюється стаціонарний режим, в ході якого система випадковим чином змінює свої стани, але їх імовірнісні характеристики вже не залежать від часу. Граничну вірогідність стану zi можна трактувати як середнє відносне час перебування системи в цьому стані. p> Для обчислення граничних ймовірностей потрібно всі ліві частини в рівняннях Колмогорова (9) покласти рівними нулю і вирішити отриману систему лінійних алгебраїчних рівнянь:
(11)
У зв'язку з тим, що ці рівняння однорідні, тобто не мають вільного члена і, значить, дозволяють визначити невідомі тільки з точністю до довільного множника, слід скористатися нормувального умовою
(12)
і з його допомогою вирішити систему рівнянь.
Модель розмноження і загибелі. Різновидом марковській моделі з дискретним числом станів і безперервним часом є модель розмноження і загибелі. Вона характерна тим, що її граф станів має вигляд ланцюга (рис. 4). Особливість цього графа полягає в тому, що кожне з середніх станів z 1 , ..., z n-1 пов'язано прямого і зворотного стрілками з кожним із сусідніх станів - z j правим і лівим, а крайні стану z 0 і z n - тільки з одним сусіднім станом.
В В
Рис. 4. Граф станів моделі розмноження і загибелі
У цій моделі формули для визначення ймовірностей станів, отримані в результаті рішення рівнянь Колмогорова, мають вигляд:
(13)
(14)
Ці формули часто, використовують при вирішенні задач теорії масового обслуговування.
Контрольн...
