удь-яких sn - 2 рішення потрібно вибирати так, щоб воно разом з оптимальним керуванням на останньому (n-ом) кроці призводило б до оптимуму цільової функції на двох останніх кроках. Отже, необхідно відшукати оптимум виразу (6) по всіх допустимим управлінським рішенням X n - 1:
. (6)
- називають умовним максимумом цільової функції при оптимальному управлінні на двох останніх кроках. Необхідно відзначити, що вираз у фігурних дужках у формулі (6), залежить тільки від sn - 2 і Xn - 1, так як sn - 1 можна знайти з рівняння станів (1) при:
. (7)
Відповідне управління Xn - 1 на (n - 1) - му кроці позначається через і називають умовним оптимальним керуванням на (n - 1) - ом.
Аналогічно визначаються умовні оптимуми цільової функції при оптимальному управлінні на (n-k +1) кроках, починаючи з k-го до кінця, за умови, що до початку k-го кроку система перебувала у стані sk - 1:
. (8)
Управління Xk на k-му кроці, при якому досягається максимум по (8), позначається і називається умовним оптимальним керуванням на k-му кроці.
Рівняння (5) і (8) називають рекурентними рівняння Беллмана (зворотна схема). Процес вирішення даних рівнянь називають умовної оптимізацією.
В результаті умовної оптимізації виходять дві послідовності:
,, ...,, - умовні максимуми цільової функції на останньому, двох останніх, ..., на n кроках;
,, ...,, - умовні оптимальні управління на n-му, (n - 1) - му, ..., на 1-му кроках.
Використовуючи дані послідовності, можна знайти рішення задачі динамічного програмування при даних n і s0:
В результаті отримуємо оптимальне рішення задачі динамічного програмування:.
Аналогічно розмірковуючи, можна вибудувати і пряму схему умовної оптимізації:
, (9)
. (10)
Оптимальне рішення задачі в даному випадку знаходиться за наступною схемою:
Таким чином, побудова моделі динамічного програмування і вирішення завдання на її основі в загальному вигляді можна представити у вигляді наступних етапів:
. Вибирають спосіб розподілу процесу управління на кроки.
. Визначають параметри стану sk та змінні управління X k на кожному кроці, записують рівняння станів.
3. Вводять цільові функції k-ого кроку і сумарну цільову функцію, а також умовні оптимуми і умовне оптимальне управління на k-му кроці ().
. Записують відповідно до зворотної або прямої схемою рекурентні рівняння Беллмана і після виконання умовної оптимізації отримують дві послідовності: {} і {}.
. Визначають оптимальне значення цільової функції і оптимальне рішення.
3. Задача розподілу ресурсів
Мається певну кількість ресурсів s0, яке необхідно розподілити між n господарюючими суб'єктами на поточну діяльність протягом розглянутого періоду (місяць, квартал, півріччя, рік тощо) з метою отримання сукупної максимального прибутку. Розміри вкладень ресурсів xi (;) в діяльність кожного господарюючого суб'єкта кратні деякій величині h. Відомо, що кожен господарюючий суб'єкт залежно від обсягу використовуваних засобів xi за розглянутий період приносить прибуток у розмірі fi (xi) (не залежить від вкладення ресурсів в інші господарюючі суб'єкти).
Необхідно визначити, я...
