пошуку по даному запиту можна, тому досягти високих значень повноти і точності, оскільки для споживача буде корисний будь-який документ, в якому йдеться взагалі про підводні човни (тобто критерій релевантності у нього досить «м'який»). Однак нехай той же самий споживач звернеться в ту само пошукову систему через кілька днів, із запитом про документи, в яких йдеться про вібраційних характеристиках виступаючих частин корпусів надводних кораблів. Ймовірно, для цього запиту можна буде отримати те ж саме значення коефіцієнта повноти, що і для значно більш загального запиту по підводним човнам. Однак це значення повноти буде, ймовірно, досягнуто при дуже низькому значенні коефіцієнта точності пошуку, так як значно більша частина документів даного масиву не буде релевантна даному специфічному запитом.
1.3 Оцінка ефективності роботи ІПС. Проектування програми випробувань.
Правильно складена програма випробувань для оцінки ефективності діючої пошукової системи може привести до поліпшення обслуговування споживачів, зменшення його вартості або до того й іншого. Така оцінка є аналітичної процедурою: аналіз проводиться з метою визначення ступеня задоволення системою вимог споживачів, визначення причин невдач в системі і найкращих шляхів їх усунення. Повна програма оцінки інформаційно-пошукової системи включає п'ять істотних етапів:
1. рішення питання про те, що саме підлягає оцінці (тобто розробка керівництвом системи питань, на які повинна відповісти програма оцінки);
2. розробка тесту для відповіді на конкретні поставлені питання;
. виконання програми випробувань;
. аналіз результатів випробувань;
. інтерпретація результатів випробувань і визначення доцільних і економічних шляхів покращення системи на основі цих результатів.
Перед початком розробки програми випробувань важливо точно сформулювати цілі випробувань. У цьому документі слід перерахувати всі питання, на які повинна відповісти програма оцінки.
При повній оцінці діючої пошукової системи може виникнути багато специфічних питань, які потребують уваги
вже на стадії підготовки програми оціночних випробувань. Нижче наводиться приблизний список питань, які можуть бути поставлені керівництвом великий пошукової системи, реалізованої на ЕОМ.
Загальна якість функціонування
Який рівень загальної якості роботи системи по відношенню до вимог споживачів? Чи є суттєві відмінності в її функціонуванні для різних типів запитів і різних предметних областей?
Широта охоплення та обробка
1. Наскільки обгрунтована існуюча політика, що стосується широти охоплення джерел при індексуванні?
2. Чи істотно впливає на якість функціонування системи затримка між надходженням журналів і їх обробкою у відділі індексування?
Індексування
1. Чи є суттєві відмінності в якості роботи різних індексаторів?
2. Якою мірою це пов'язано з досвідом по індексуванню і рівнем «контролю» за ним?
. Розпізнають чи індексатори специфічні поняття, що цікавлять різні...
