су користувача.
В· Швидкості відгуку.
В· Цільового програми:
o Веб-движок: користувач знаходить те, що хоче, і повертається до движку.
o Сайт продажу онлайн: користувач знаходить те, що хоче, і робить покупку.
o Сайти підприємств, компаній, держави, освіти: турбота про продуктивності користувача (як багато часу він зберігає, коли шукає інформацію).
Якість системи залежить від швидкості індексації, швидкості пошуку, величини колекції документів, використовуваної мови запитів, швидкість при використанні складних запитів. Щоб виміряти ефективність інформаційного пошуку, нам необхідні:
В· тестова колекція документів (повинна мати розумний розмір). Необхідно усереднювати продуктивність, так як результати сильно відрізняються в залежності від різних документів та інформаційних потреб.
В· тестовий набір інформаційних потреб, виражений через запити,
В· набір оцінок релевантності, зазвичай це двійкове позначення для кожної пари запит-документ, що показує релевантний чи результат.
Релевантність оцінюється по відношенню до інформаційної потреби, а не до запиту. Документ є релевантним, якщо він ставиться до зазначеної інформаційної потреби, а не просто містить всі слова із запиту. p align="justify"> Оцінка неранжірованних наборів результату пошуку.
Точність (P): частка релевантних документів з усіх знайдених. (релевантні | знайдені) =
= # (знайдені релевантні об'єкти)/# (знайдені об'єкти)
Дозволяє визначити ступінь надійності системи. Не враховує загальну кількість документів.
Повнота (R): частка знайдених релевантних документів з усіх релевантних в колекції. (знайдені | релевантні) =
= # (знайдені релевантні об'єкти)/# (релевантні об'єкти)
Дозволяє визначити ступінь повноти системи.
Таблиця 1. Позначення множин в колекції оброблюваних документів. p align="justify"> Relevant (релевантні) Non-relevant (нерелевантні) Retrieved (знайдені) true positive (TP) (вірно позитивні) false positive (FP) (хибно позитивні) Not retrieved (незнайдені) false negative (FN) (хибно негативні) true negative (TN) (вірно негативні)
В
Малюнок 2. Графічне подання оброблюваної колекції документів. br/>В В
Точність - частка правильних класифікацій.
В
Точність не підходить для використання в контексті ВП. У багатьох випадках дані вкрай спотворені, наприклад, 99,9% документів є нерелевантними. У цьому випадку система, налаштована на максимізацію точності буде майже завжди оголошувати кожен документ нерелевантним. p align="justify"> Можна отримувати високу повноту (але низьку точність), витягуючи всі документи для всіх запитів. Повнота є неубутною функцією від кількості знайдених документів. Точність зазвичай падає (в хороших системах). Точність може бути обчислена на різних рівнях повноти. Користувачі, орієнтовані на високу точність - веб-серфери, на високу повноту - професійні дослідники, юристи, аналітики. p align="justify"> F-захід є комбінованої заходом, що оцінює компроміс між точністю і повнотою (зважене середнє гармонійне):
В В
При значенні ? <1 акцент робиться на точності, при ? > 1 - на повноті.
Зазвичай використовується збалансована F-міра, тобто ? = 1 або ? = ВЅ
В
Коли значення двох чисел відрізняються, середнє гармонійне ближче до їх мінімуму, ніж середнє арифметичне або геометричне. Наприклад, якщо 1 з 10000 документів релевантний, ми можемо отримувати 100% повноти, витягуючи всі документи. Середнє арифметичне буде 50%, а гармонійне - 0,02%. p align="justify"> Повнота, точність і F-міра є заходами, заснованими на множинах (наприклад, невпорядкований набір документів). У ранжируваних пошукових системах значення P і R пов'язані з позицією в рейтингу. Оцінка проводиться шляхом обчислення точності, як функції від повноти. Якщо ...
