стани, ..., и діставаті залежність потокового Керування від усіх ціх величин. У цьом випадка для розв'язання дискретних задач оптимального Керування Зі скінченнім горизонтом найчастіше вікорістовується алгоритм, Заснований на методі дінамічного програмування, запропонованого Беллманом. Суть методу Полягає в Наступний:
, (9)
(10)
де математичне сподівання береться за мірою. Формули (9) - (10) є стохастичную аналогом детермінованого алгоритму методу дінамічного програмування.
Величина - це оптімальні витрати, пов'язані з функціонуванням системи, за Останні кроків, за умови, что перед дерло Із ціх кроків система перебувала в стані. Стратегія, шкірних елемент Якої доставляє оптімальне значення (10) для всіх,, є оптимальною стратегією для шкірного. Оптимальна функція витрат даної задачі візначається на-му кроці и дорівнює.
Для розв'язання завдань оптимального стохастичного Керування з нескінченнім горизонтом, як правило, застосовуються чісельні методи, Які дозволяють на Кожній ітерації одержуваті набліження до оптимального Керування и оптімальної Функції витрат. У цьом випадка можна показати, что оптимальна функція витрат задовольняє рівнянню Беллмана
.
В
6 Формулювання задачі оптимального Керування в термінах відображень
Сформулюємо задачу оптимального стохастичного Керування (4) - (5), а такоже алгоритм дінамічного програмування за помощью відображення, Яку завданні формулою:
.
Розглянемо оператори І, Які відображують множини функцій, что пріймають дійсна Значення на, в себе:
,
,.
За таких позначені задачу оптимального стохастичного Керування (4) - (5) можна записатися у вігляді:
,
,
де,, а - суперпозіція Операторів (нагадаємо, что суперпозіцією відображень и назівається відображення таке, что,).
Алгоритм дінамічного програмування (9) - (10) у термінах відображень можна записатися у такий способ:
,,
Звідки віпліває, что, де - кратний добуток оператора на собі.
Задачу з нескінченнім горизонтом (6) - (7) у термінах відображень
можна сформулюваті в такий способ.
,
.
Функціональне рівняння Беллмана тепер буде еквівалентно рівності
,.
