рамування полягає в тому, що оптимальне управління будується поступово, крок за кроком. На кожному кроці оптимізується управління тільки цього кроку. Разом з тим на кожному кроці управління вибирається з урахуванням наслідків, так як управління, оптимизирующее цільову функцію тільки для даного кроку, може призвести до неоптимальної ефекту всього процесу. Управління на кожному кроці має бути оптимальним з точки зору процесу в цілому.
Ілюстрацією до сказаного вище може служити завдання про вибір найкоротшого шляху для переходу їх точки A в точку В, якщо маршрут повинен пройти через деякі пункти. На рис. 2 ці пункти позначені кружками, а що з'єднують їх дороги - відрізками, поряд з якими проставлені відповідні відстані.
З точки зору інтересів оптимізації тільки кожного найближчого кроку - вибору найкоротшого шляху з даної точки в сусідню - слід рухатися по маршруту, проходить через точки А, А 1 , А 3 , А 2 , А 4 , В. Довжина цього маршруту дорівнює 34. Такий шлях з А в В не є найкоротшим. Наприклад, маршрут, що проходить через точки А, А 3 , А 4 , У має меншу довжину, рівну 25. Вирішивши цю задачу, ми переконаємося, що другий шлях також не є оптимальним.
В
Наведений приклад багатокрокової операції показує, що управління в кожному кроці треба вибирати з урахуванням його наслідків на майбутніх кроках. Це основне правило ДП, сформульоване Р. Беллманом називається принципом оптимальності. p> Оптимальне управління має таку властивість, що яке б не було початковий стан на будь-якому кроці і керування, вибране на цьому кроці, наступні управління повинні вибиратися оптимальними щодо стану, до якого прийде система в кінці даного кроку.
Використання цього принципу гарантує, що управління, вибране на будь-якому кроці, є не локальний кращим, а кращим з точки зору процесу в цілому.
Так, якщо система на початку k-го кроку знаходиться в стані і ми вибираємо довільне керування, то система прийде в новий стан, і подальші управління повинні вибиратися оптимальними щодо стану. Останнє означає, що при цих управліннях максимізується показник ефективності на наступних до кінця процесу кроках k +1, ..., n, тобто величина Показник, що характеризує сумарну ефективність від даного k-го до останнього n-го кроку, будемо позначати через Z k , тобто Завдання оптимізації процесу, починаючи з k-го до останнього n-го кроку (рис.3), схожа на вихідну при початковому стані системи, управлінні та показнику ефективності (аналогічно (2)). Вибравши оптимальне управління U k * на залишилися n-k +1 кроках, отримаємо величину, яка залежить тільки від, тобто
(2.1)
Назвемо величину умовним максимумом. Якщо тепер ми виберемо на k-му кроці деякий довільне управління, то система прийде в стан. Згідно з принципом оптимальності, яке б ми не обрали, на наступних кроках управління повинне вибрати так, щ...
