одібності між заголовком вихідного документа і словами заснованого на цьому документі запиту. Така неприродно сильний зв'язок може спотворити результати експерименту у вигідну для системи сторону, так як теми, що згадуються в заголовку, найімовірніше, будуть вибрані і при індексуванні. Однак при відомих заходи обережності вихідні документи можуть все ж успішно використовуватися як засіб встановлення повноти системи. Ці обережності наступні:
. Укладачами підготовлених запитів повинні бути ті ж споживачі, чиї реальні запити використовуються для встановлення коефіцієнта точності системи. Їх просять складати підготовлені запити можливо більш близькими за ступенем деталізації (специфічності) та складності до їх реальних запитам.
. Споживачам повинні даватися строгі інструкції не переробляти заголовки при підготовці запитів.
. Не допускається подача «обманних» запитів (наприклад, запиту, для якого єдиною релевантною частиною документа є одна позиція в якійсь єдиною таблиці).
. Другого фахівця з даної тематики просять розглянути підготовлений запит у зіставленні з вихідним документом і вказати, чи вважає він цей запит «прийнятним» чи ні.
Можливо, найбільш ефективним методом встановлення значення повноти для діючої пошукової системи є метод, використаний у Національній медичній бібліотеці при оцінці системи MEDLARS. Він припускає знаходження для кожного експериментального запиту ряду релевантних документів методами, абсолютно не мають відношення до оцінюваної системі. Такими документами можуть бути:
1. документи, вже відомі споживачеві до пред'явлення запиту системі;
2. додаткові документи, отримані від авторів матеріалів, заздалегідь відомих споживачеві;
. документи, які виявляють сильну зв'язок по посиланнях з матеріалами, відомими споживачеві заздалегідь;
. документи, знайдені при пошуку літератури за допомогою традиційних бібліотечних засобів;
. документи, знайдені деякими іншими спеціалізованими інформаційними центрами.
У разі якщо знайдені документи відносяться до пунктів 2, 3, 4 і 5, вони є лише «можливо релевантними» по відношенню до запиту. Вони не визнаються релевантними до тих пір, поки сам споживач не оцінить їх як такі. Ці додаткові документи можуть бути об'єднані для оцінки релевантності з випадковою вибіркою, взятої з експериментального пошуку, і представлені на розгляд споживачеві. Група джерел, визнана споживачем релевантної і знайдена без звернення до системи, є групою, за якою встановлюється значення повноти для пошуку. Це добре видно з табл. 1. У даному конкретному випадку споживач знав про чотири релевантних джерелах до того, як він попросив провести пошук літератури. За допомогою покажчика бібліографічних посилань до них були додані 12 документів, сильно пов'язаних бібліографічними посиланнями з чотирма відомими релевантними документами. Три додаткових «можливо релевантних» джерела були знайдені за допомогою традиційного бібліотечного пошуку в опублікованих бібліографічних списках. Ці 15 документів були представлені для оцінки споживачеві і 10 з них визнані релевантними. Тепер мається можлива основа з 14 документів для встановлення значень повноти для даного запиту.
Однак пот...
