Різниця між втратами, зумовленими помилками індексатора, і втратами за рахунок недостатньої повноти індексування полягає в наступному:
1. Пропуск індексатора: центральна тема обговорюваного в документі предмета зовсім не відбивається при індексуванні. Разом з тим пропущена тема відчувається настільки важливою, що повинна бути відображена навіть у разі індексування з малою повнотою.
2. Недостатня повнота: при індексуванні не відображені другорядні аспекти змісту. Тема не є основною в документі і, мабуть, виключена на користь інших тим відповідно з прийнятим рішенням щодо середнього числа приписуваних термінів.
На жаль, якщо при індексуванні документа пропущений важливий термін, документ, ймовірно, залишиться знайденим в ряді пошуків, для яких він, можливо, є у великій мірі релевантним. Більш того, помилки цього типу, хоча і можуть розкриті в ході виконання програми оцінки, залишаться виявленими при звичайному режимі функціонування системи. Безсумнівно, що деякого числа пропусків індексатора не можна уникнути в умовах стислих графіків роботи. Однак, мабуть, відносне число невдач при пошуку з цієї причини більшого числа невдач через використання невідповідних термінів. Якщо робота одного індексатора контролюється («переперевіряється») другий, помилкове використання термінів при індексуванні буде в більшості випадків виявлено і може бути легко виправлено. Пропуски же визначити набагато важче, оскільки тут потрібне уважне вивчення самого документа в ході контрольної перевірки.
Раніше вже вказувалося, що чим повніше ми описуємо (за допомогою термінів мови індексування) зміст документа, тим більшою буде очікувана повнота пошуку. Навпаки, внаслідок зворотної залежності між повнотою і точністю, чим більше повнота індексування, тим більше вірогідність появи шумів.
Частково це пояснюється наявністю великих потенційних можливостей для помилкової координації термінів, частково ж тим фактом, що повне, вичерпне індексування призводить до видачі документів, що мають вельми слабке відношення до запиту. У процесі функціонування будь-якої пошукової системи, ймовірно, будуть втрати внаслідок недостатньо повного індексування. У той же час при повному індексуванні можливо і поява шумів, головним чином за рахунок видачі документів, малоінформативних по відношенню до сформульованого запиту. Найбільш важкою проблемою, пов'язаною з методикою індексування, в будь-якій системі є вирішення про прийнятну повноті індексування.
При аналізі результатів експерименту треба спробувати виявити всі пошуки, в яких найбільш вірогідні втрати, зумовлені недостатньою повнотою індексування. І навпаки, треба виявити пошуки, в яких можливі шуми внаслідок великої повноти індексування. Наприклад, може виявитися неможливість здійснення успішних пошуків за певними методам медичної діагностики (наприклад, біопсії кісткового мозку), так як ці способи, зафіксовані в історіях хвороб на різних стадіях їх, не відображені належним чином при індексуванні. Аналогічно ми могли б виявити, що інші типи пошуку незмінно призводять до низької точності внаслідок способу використання певних термінів. Наприклад, може виявитися скрутним проведення успішного пошуку по конкретних додаткам електронних обчислювальних машин для обробки даних (наприклад, по машинному зчитува...
