кремих моделей експертних систем, і ви побачите, що виробити якийсь спільний підхід до такої оцінки, не беручи до уваги специфіку області застосування, не вдається. Однак можна виділити ряд попередніх умов, які необхідно дотримуватись для адекватної оцінки якості експертної системи будь-якого призначення (це питання обговорюється в збірнику під редакцією Хейеса-Рота [Hayes-Roth et al, 1983, Chapter 8]) .
1 Повинні існувати певні об'єктивні критерії правильності відповіді, формованого експертною системою. У деяких областях, наприклад фінансових інвестицій, може не існувати інших критеріїв, окрім як оцінювання сторонніми фахівцями висновку, зробленого системою, або виконання рекомендацій на практиці і аналіз наступних результатів. Складність першого способу полягає в тому, що експерт може не погодитися з самою постановкою проблеми в конкретному випадку (особливо, якщо ми маємо справу зі складним випадком). Що ж стосується другого способу, то за оцінку доведеться заплатити занадто дорого, якщо практичне втілення рекомендації призведе до несподіваних наслідків.
Повинна дотримуватися певна процедура проведення експерименту. Замість того щоб просити експерта оцінити якість відповіді, запропонованого комп'ютером, краще запропонувати йому кілька варіантів рішень, одні з яких запропоновані фахівцями в цій предметній області, а інші - експертною системою, причому експерт не повинен знати, чи є серед запропонованих варіантів "машинні". Саме так проводилася описана вище процедура оцінки якості системи MYCIN. При цьому експерт позбавлений від можливо і неусвідомлюваної психологічної "тенденційності" в оцінці того, що пропонується комп'ютером.
Оцінка повинна протікати безболісно для експерта чи її взагалі немає сенсу проводити. Якщо оцінка зв'язана з якими-небудь неприємними для експерта наслідками, то розраховувати на його об'єктивність, звичайно ж, не можна. Не можна проводити оцінку, якщо існують дуже жорсткі вимоги до часу її виконання і використовуваним при цьому ресурсів. Цілком може виявитися так, що процес оцінки якості системи займе більше часу, ніж її розробка.
Читачеві також повинно бути ясно, що роль різних експертних систем в тій чи іншій предметній області може бути абсолютно різною, відповідно різними мають бути і вимоги до її продуктивності. Багато експертні системи виконують роль порадника і надають користувачеві набір можливих варіантів вирішення проблеми. У такому випадку від системи потрібно в основному сформувати якомога більш "ємний" перелік варіантів вирішення проблеми при заданих обмеженнях, причому система повинна укластися в розумний час. Інші сист...
