рібно ще підтвердити, що всі ці джерела присутні у фонді оцінюваної системи. Припустимо, що чотири документа відсутні, в результаті чого основа для визначення повноти скорочується до 10 джерел. Тепер необхідно перевірити наявність цих 10 джерел, знайдених при пошуку в оцінюваної системі. Якщо з 10 джерел були знайдені 6, можна стверджувати, що коефіцієнт повноти системи щодо даного запиту становить 6/10 * 100=60% в припущенні, що система буде працювати при такому ж рівні повноти і для будь-якої іншої групи з 10 релевантних документів.
Інший шлях розгляду зазначеного методу отримання оцінки повноти проілюстрований на фіг. 7. Тут область Х представляє весь масив MEDLARS, що складається з 70000 джерел. Для будь-якого конкретного запиту, спрямованого в систему, запитуюча особа може, переглянувши суцільно всі джерела фонду. знайти в ньому підмножина джерел Y, які вона вважає цінними з точки зору його інформаційної потреби. Всі інші джерела в масиві (Х - Y ) не уявляють цінності (тобто нерелевантні). На жаль, крім повного перегляду всього фонду, немає іншого надійного методу встановлення точного підмножини релевантних джерел Y - для будь-якого конкретного запиту. Однак можна встановити деяку підмножину першого підмножини (тобто методом, описаним раніше, можна знайти деяку групу статей Y1 які споживач оцінить як релевантні). Після цього можна отримати оцінку повноти на основі якості функціонування системи по відношенню до цієї конкретної групі релевантних джерел. Так, якщо відомо про 10 релевантних статтях у фонді і система MEDLARS знаходить 7 з них, але пропускає 3, говорять, що коефіцієнт повноти для цього пошуку дорівнює 70%. При цьому припускають, що «коефіцієнт успіху» («hit rate») для групи документів Y1 наближатиметься до «коефіцієнту успіху» для більшої групи Y .
Необхідно нагадати, що значення повноти і точності є тільки критеріями, за допомогою яких вимірюється вплив певних змін в системі або методів функціонування системи. Але, хоча оцінка повноти, отримана в результаті таких випробувань, може виявитися трохи завищеною або заниженою по відношенню до «істинної повноті», метод, використаний для отримання оцінки, залишається незмінним протягом всієї програми оцінки. Так що одержувані значення цих параметрів все ж можуть служити цінними покажчиками змін якості функціонування системи в різних ситуаціях.
2. Експериментально-практична частина
2.1 Аналіз експериментальних даних
Єдиною метою програми оцінки є отримання даних для їх подальшого аналізу. Розрізняють два типи даних: 1) чисельні показники якості функціонування пошукової системи і 2) дані про невдачі при пошуку. Після проведення випробування системи однієї з перших завдань повинно бути виявлення і підсумовування результатів по повноті і точності пошуку. Відомі два альтернативні способи осреднения чисельних значень повноти і точності для серії експериментальних запитів. У першому випадку підсумовуються результати окремих пошуків, і отримана сума ділиться на загальне число пошуків. Таким чином виходять середні значення коефіцієнтів повноти і точності пошуку. Цей метод відомий як метод обчислення середнього відносин. Другий метод зводиться до підрахунку числа документів, виданих по всій експериментальної серії запитів, і ...
