стеми). p> Керування,, назівається напівмарковською позіційною стратегією (Стратегією, шкірних елемент Якої поклади Тільки от потокового и Початкова станів системи).
Марковські та напівмарковські позіційні стратегії Використовують найчастіше.
Зрозуміло, что в Загальне випадка кінцевій стан системи, згідно з формулою (2),, покладів від початкових стану, Керування и збурень. Щоб переконатіся в цьом, й достатньо віразіті в (2) через, потім через и т.д. Если ці Перетворення Можливо провести, то одержимо співвідношення. Це означає, что різнім реалізаціям Випадкове збурення для одного початкова стану відповідатімуть Різні оптімальні стратегії Керування.
4 Формальна постановка задачі оптимального стохастичного Керування
Розглянемо систему (2) Із цільовім функціоналом (3). Надалі, ЯКЩО Інше не обговорене спеціально, будемо вважаті, что оптімальні Керування на шкірному кроці позіційні:, и ,. p> За таких розумів завдання оптимального стохастичного Керування Полягає в поиска оптімальної послідовності функцій Керування, (тоб стратегії Керування), что мінімізує сумарні витрати за увесь годину Функціонування системи.
Формальна постановка задачі оптимального стохастичного Керування Зі скінченнім горизонтом у дискретному випадка має вигляд:
, (4)
. (5)
Розв'язання задачі оптимального стохастичного Керування з нескінченнім горизонтом Полягає в поиска послідовності Керування, Які мінімізують сумарні витрати.
Формальна постановка задачі оптимального стохастичного Керування з нескінченнім горизонтом у дискретному випадка має вигляд:
, (6)
. (7)
Далі во время розв'язання задач оптимального Керування вважатімемо, что границя у (6) існує для всіх і. p> Будемо розглядаті задачі (4) - (5) і (6) - (7) у стаціонарному випадка, тоб пріпускатімемо, что простори станів и Керування и , Обмеження Керування, функція и витрати НЕ змінюються при переході від шкірного Крок до Наступний. Если ж це не так, то завдання є нестаціонарною. Нестаціонарна завдання может буті ЗВЕДЕНА до стаціонарної помощью спеціальніх методів, тому далі мова йтіме Тільки про стаціонарні задачі.
Зупинимо детальніше на позначені, Зроблений Вище. p> Визначення. Функція назівається функцією витрат за кроків при стратегії в задачі Зі скінченнім горизонтом. Аналогом цієї величиною для задачі з нескінченнім горизонтом є функція - функція витрат при стратегії. p> Для фіксованого стану позначімо через и оптімальні витрати в ціх завданнях, тоб
,
.
Если Останні співвідношення вірні для всіх, то функція назівається оптимальною функцією витрат за кроків, а - оптимальною функцією витрат.
Стратегія назівається оптимальною при горізонті в стані, ЯКЩО
,
и оптимальною в стані , ЯКЩО
.
Стратегія назівається оптимальною при горізонті, ЯКЩО. Це означає, что стратегія доставляє оптимальне значення цільовому функціоналу при всех.
Аналогічно, стратегія назівається оптимальною, ЯКЩО
. (8)
Стратегія назівається рівномірно оптимальною при горізонті, ЯКЩО стратегія оптимальна при горізонті для всіх. Отже, ЯКЩО стратегія рівномірно оптимальна при горізонті, то вона такоже оптимальна при горізонті. Зворотнє Твердження в Загальне випадка невірно.
Стратегія назівається стаціонарною стратегією, ЯКЩО.
Если у цьом випадка Значення цільового функціонала в задачі оптимального стохастичного Керування з нескінченнім горизонтом ОТРИМАНО з використаних стаціонарної стратегії, то результат позначають. Отже, стаціонарна стратегія у задачі з нескінченнім горизонтом оптимальна, ЯКЩО. Тут - оптимальне значення цільового функціонала задачі.
Розв'язання будь-якої задачі оптимального стохастичного Керування здійснюється за Шість етапів:
1. Змістовна постановка задачі.
2. Побудова МОДЕЛІ об'єкта Керування, что Включає вибір векторів станів и Керування, просторів станів и Керування, вектора и простору Випадкове збурень; побудову Функції витрат, что візначається метою Керування.
3. Формальна постановка задачі.
4. Вибір и обгрунтування методу розв'язання задачі.
Обчислення оптімальної стратегії Керування одним з методів.
6. Аналіз отриманий результатів.
В
5 Алгоритм розв'язання задачі оптимального стохастичного Керування
Процедура поиска оптимальних позіційніх стратегій є й достатньо складаний задачею. Одним з Головня харчуванням, Вирішення Якого дозволяє у значній мірі полегшіті Цю процедуру, є Наступний: чг можна обмежитися Поиск оптимальних стратегій у класі стаціонарних або марковських стратегій? Если це Можливо, то структура Керування однозначно спрощується, І, крім того, зменшується об'єм оброблюваної ІНФОРМАЦІЇ: чи не нужно запам'ятовувати Керування, ...,, попередні...
