отриманню узагальнених значень коефіцієнтів повноти і точності у вигляді відносини середніх. Наприклад, якщо в 100 експериментальних пошуках знайдено в сумі 1000 документів, 800 з яких визнано релевантними, то коефіцієнт точності згідно з методом відносини середніх дорівнює 80%.
Кожен із зазначених методів має свої переваги і недоліки, однак якщо експериментальні дані досить однорідні, результати, одержувані в обох випадках, виявляються близькими. Важливо, щоб у процесі виконання експериментальної програми використовуваний метод розрахунку залишався незмінним.
Коефіцієнти повноти і точності пошуку незалежно від того, чи представлені вони у вигляді таблиць або графічним способом, самі по собі мають малу цінність. Їх не можна використовувати для порівняння характеристик систем з різним характером документів і запитів, різними вимогами споживачів до повноти і точності пошуку, що відрізняються допустимим часом пошуку і ступенем участі споживачів у процесі пошуку. Подібне порівняння безглуздо.
Коефіцієнти повноти і точності по суті є вимірювальними стандартами. У рамках програми оцінки системи вони використовуються аналогічно іншим вимірювальним засобам, наприклад так, як це має місце при вимірюванні величини предметів. В якості першого кроку, можна виміряти пошукову характеристику системи по відношенню до експериментальної серії запитів і зіставити її з ідеальними значеннями повноти і точності пошуку, рівними 100%.
Більш важливою представляється можливість визначення ступеня задоволення інформаційних потреб споживачів, оскільки члени групи споживачів, залученої до участі в експерименті, пред'являть різні вимоги до повноти і точності пошуку. Крім того, можна виміряти різницю в характеристиках якості системи по відношенню до запитів, що стосуються різних широких предметних областей або отриманим від груп споживачів різного складу. Ми можемо простежити варіацію пошукової характеристики залежно від режиму функціонування системи, наприклад від ступенів і рівнів взаємодії споживача з системою. Можна також використовувати ці вимірювальні стандарти для вимірювання ефекту вносяться до системи змін, таких, як додавання або вилучення покажчиків ролі, використання вагових коефіцієнтів, а також введення проміжного людської ланки для попереднього аналізу та сортування результатів пошуку на виході системи перед видачею їх споживачеві.
Якщо ми розглядаємо коефіцієнти повноти і точності єдино як засобу для вимірювання змін пошукової характеристики в рамках нашої власної системи і в межах проведеного експерименту, очевидно, що будь-який метод, що забезпечує допустиму ступінь точності при оцінці параметрів ефективності пошуку, є рівнозначним за умови його незмінності в ході виконання всієї програми оцінки. Навіть у тих випадках, коли застосування даного методу призводить до невеликого заниження або завищення оцінок повноти і точності пошуку, одержувані чисельні значення характеристики з повним правом можуть бути використані для порівняння ефектів, викликаних в системі змінами унаслідок постійності використовуваного методу.
При розгляді результатів одиничного пошуку статистична достовірність отримуваних. значень коефіцієнтів повноти і точності мала, хоча вона, очевидно, і залежить від кількості ...
