ася, оскільки в основному передбачалося, що результати сприйняття включають константні символи, які однозначно позначають ті чи інші об'єкти.
Проектування, оцінка та вибір майбутніх способів дій. При вирішенні цього завдання вимоги до представлення основних знань залишаються такими ж, як і при вирішенні завдання стеження за світом; труднощі полягають головним чином у тому, що доводиться стикатися з проявами дій (наприклад, пов'язаних з проведенням бесіди або спільного чаювання), які в кінцевому підсумку складаються з тисяч або мільйонів примітивних кроків, виконуваних реальним агентом. Взагалі кажучи, люди здійснюють таке складну поведінку виключно завдяки тому, що діють в рамках ієрархічної структури поведінкових актів. У деяких з алгоритмів планування, наведених у главі 12, використовуються ієрархічні уявлення і представлення в логіці першого порядку, що дозволяють справлятися з проблемами реальних масштабів; з іншого боку, в алгоритмах прийняття рішень в умовах невизначеності, наведених у главі 17, по суті використовуються такі ж ідеї, як і в алгоритмах пошуку з урахуванням стану, що розглядаються в розділі 3. У цій області необхідно виконати ще дуже великий обсяг роботи, можливо , на основі новітніх досягнень в області ієрархічного навчання з підкріпленням.
Корисність як спосіб вираження інтересів. Взагалі кажучи, принцип, згідно з яким раціональні рішення повинні бути засновані на максимізації очікуваної корисності, є повністю загальним і дозволяє уникнути багатьох проблем, пов'язаних з підходами, заснованими виключно на досягненні мети, таких як конфліктуючі цілі і ненадійні результати. Проте до цих пір ще дуже мало зроблено в галузі створення реальних функцій корисності. Досить уявити собі, наприклад, в якій складній мережі взаємодіючих переваг повинен розбиратися агент, який діє у ролі асистента-діловода для чиновника. Як виявилося, завдання декомпозиції переваг по складним станам, подібна тому, як здійснюється декомпозиція переконань по складних станам в байєсівських мережах, є досить важкою. Одна з причин цього може полягати в тому, що розподіл переваг по станам фактично компілюється з переваг, розподілених по історіям станів, які описуються за допомогою функцій винагороди. Навіть якщо функція винагороди є простою, відповідна функція корисності може виявитися дуже складною. Це означає, що ми повинні розглядати завдання інженерії знань для функцій винагороди, яка повинна стати способом інформування розроблюваних агентів про те, які до них пред'являються вимоги, як дуже серйозну.
Навчання. У розділах 18-20 описано, як може бути сформульована задача навчання агента у вигляді задачі визначення за допомогою індуктивного навчання (контрольованого, неконтрольованого або заснованого на підкріпленні) тих функцій, які лежать в основі різних компонентів агента. Були розроблені дуже потужні логічні та статистичні методи, що дозволяють справлятися з досить значними проблемами, що часто досягають або перевершують можливості людини з ідентифікації Предсказательная шаблонів, визначених у заданому словнику. З іншого боку, в області машинного навчання досягнуті лише вельми невеликі успіхи у вирішенні важливої ??проблеми формування нових уявлень на рівнях абстракції, вищих порівняно з вхідним словником. Наприклад, як може автономний робот виробити корисні предикати, такі як Office і Cafe, якщо вони не будуть надані йому розробником? Аналогічні міркува...
