Зміст
Введення
. Проблеми
. Огляд предметної області
.1 Завдання аналізу питання
. Методи аналізу питань
.1 Символьні шаблони питань
.2 Синтаксичні шаблони питань
.3 Статистика вживання слів у питаннях
. Оцінка методів аналізу питань
.1 Створення тестової колекції питань
.2 Метрики
.3 Результати простого експерименту
Висновок
Список літератури
Введення
У зв'язку з бурхливим розвитком інформаційних технологій і безперервним збільшенням обсягів інформації, доступної в глобальній мережі Інтернет, все більшої актуальності набувають питання ефективного пошуку і доступу до даних. Найчастіше стандартний пошук з використанням ключових слів не дає бажаного результату, у зв'язку з тим, що такий підхід не враховує мовні та смислові взаємозв'язку між словами запиту. Тому зараз активно розвиваються технології обробки природних мов (Natural Language Processing, NLP) і засновані на них питально-відповідні системи (Question-Answering Systems, QAS).
Вопросно-відповідна система - це інформаційна система, що є гібридом пошукових, довідкових та інтелектуальних систем, яка використовує природно-мовної інтерфейс. На вхід такій системі подається запит, сформульований на природній мові, після чого він обробляється з використанням методів NLP, і генерується природно-мовної відповідь. В якості базового підходу до задачі пошуку відповіді на питання зазвичай застосовується наступна схема: спочатку система тим чи іншим чином (наприклад, пошуком за ключовими словами) відбирає документи, що містять інформацію, пов'язані з поставленим питанням, потім фільтрує їх, виділяючи окремі текстові фрагменти, потенційно містять відповідь, після чого з відібраних фрагментів генерує модуль синтезує відповідь на запитання.
Як джерело інформації QA-система використовує або локальне сховище, або глобальну мережу, або і те й інше одночасно. Незважаючи на явні переваги використання Інтернету, такі як доступ до величезних, постійно зростаючим інформаційних ресурсів, з цим підходом пов'язана істотна проблема - інформація в Інтернеті Неструктурованість і для її коректного вилучення необхідне створення так званих «обгорток» (Wrapper), тобто підпрограм, які забезпечують уніфікований доступ до різних інформаційних ресурсів.
Сучасні QA-системи поділяють на загальні (open-domain) і спеціалізовані (closed-domain). Загальні системи, тобто системи, орієнтовані на обробку довільних питань, мають досить складну архітектуру, але проте на практиці дають досить слабкі результати і невисоку точність відповідей. Але, як правило, для таких систем більш важливим виявляється ступінь покриття знань, ніж точність відповідей. У спеціалізованих системах, що відповідають на питання, пов'язані з конкретною предметною областю, навпаки, точність відповідей найчастіше виявляється критичним показником (краще взагалі не дати відповіді на питання, ніж дати неправильну відповідь).
1. Проблеми
