%. Тоді в залишковому масиві повинно залишатися ще п'ять Незнайдений релевантних документів. Однак залишковий масив містить 9980 документів, так що наша випадкова вибірка повинна включати 9980/5, або майже 2000 документів для того, щоб був хоч якийсь шанс відшукати додатково хоча б ще один релевантний документ. Якщо повнота більше 50%, величина випадкової вибірки повинна бути пропорційно ще більше.
Другий метод оцінки повноти передбачає проведення паралельного пошуку в іншій, звичайно більшої, системі. Повнота системи 1 оцінюється в порівнянні з характеристикою системи 2. Цей метод дає лише порівняльне, а не справжнє значення повноти.
Метод, використаний з деяким успіхом у попередніх програмах випробувань, передбачав використання «підготовлених запитів» («prepared requests»), заснованих на документах, про які відомо, що вони є у фонді («вихідні документи» , «source documents»). Для застосування цього методу, ми звернулися знову до допомоги споживачів, попросивши їх представити реальні запити, які повинні були служити основою для визначення показників точності. Після отримання від споживача запиту і заручившись його згодою співпрацювати в експерименті, йому висувають документ, вибраний випадково з тієї частини фонду документів, яка відповідає загальному напрямку його інтересів. Потім споживача просять скласти запит, для якого, на його думку, цей вихідний документ був би цінним відповіддю. Пошук по цим підготовленим запитам проводиться так само, як пошук за реальними запитами, і знайдені джерела або випадкова вибірка з них представляються упорядника запиту для оцінки його релевантності.
Таким шляхом визначається значення точності для підготовлених запитів. Значення повноти оцінюється для всієї групи підготовлених запитів як відношення знайдених при пошуку вихідних документів до загальної їх кількості. Припустимо, що використано 100 підготовлених запитів, кожен з яких заснований на одному-єдиному вихідному документі. Якщо в результаті 70 пошуків знайдені відповідні вихідні документи, можна стверджувати, що повнота системи для цих пошуків
становить 70% в припущенні, що коефіцієнт повноти по відношенню до будь-якої іншої групи з 100 релевантних документів також буде 70/100 .
Таким чином, для підготовлених запитів ми отримуємо коефіцієнти повноти і точності, а для реальних запитів - тільки коефіцієнти точності. Однак при проведенні експериментальних пошуків у вигляді подпоісков на різних рівнях спільності можна отримати значення повноти і точності для кожного подпоіска. Таким способом можна нанести діапазон значень характеристик для підготовлених запитів на графіку залежності повноти від точності, як показано на фіг. 6, де А - точка роботи системи для пошуку з найвищим рівнем спільності, а Е - відповідна точка для по позову з найменшим рівнем спільності.
Тепер можна взяти значення точності для реальних пошуків і нанести їх на криву повнота / точність для підготовлених запитів. Цей спосіб дозволяє одержувати оцінки значення повноти для реальних пошуків шляхом екстраполяції значень повноти / точності, досягнутих для підготовлених запитів.
Використання «вихідних документів» як засобу встановлення коефіцієнта повноти було піддано різкій критиці, головним чином на підставі можливості неприродно сильного п...
