ям практично будь-яких індивідів є знаходження (Отримання) потрібних їм документів, а також аналіз їх змісту на предмет підготовки різних документів (рефератів, анотацій, довідок, звітів, навчальних робіт, виробничих завдань та ін.) При цьому нерідко виникають ситуації, коли протягом незначного періоду часу необхідно підготувати деякий (як правило, аналітичний) матеріал. Аналіз текстів на природній мові (ЕЯ) був актуальним практично з моменту їх появи. При такому аналізі необхідно визначити правила, за допомогою яких, на думку фахівців, "формальна система (набір структурних елементів тексту) перетвориться в систему змістовну (осмислене повідомлення ". Аналіз тексту використовувався і продовжує використовуватися для класифікації текстів, які у них слів і словосполучень (наприклад, для визначення частоти народження тих чи інших термінів у певних текстах), анотування та реферування текстів, проведення семантично орієнтованого пошуку текстів по заданих концептам, визначення авторського права претендента на відповідний текст та ін
Вважається, що в реальному житті правила читання тексту не формалізуються. Людина осягає їх роками, активно працюючи в певній сфері діяльності та предметної області. Фахівці відзначають, що різні контексти породжують різні правила їх прочитання, які з часом змінюються, тому важко навчити такими правилами комп'ютер, а значить автоматично враховувати змістовні аспекти оброблюваного тексту.
Глава 2. Комп'ютерний аналіз тексту
2.1 Поняття комп'ютерного аналізу тексту. Історія розвитку
Створення ЕОМ в середині 20-го століття і швидке розвиток кібернетичних ідей стимулювали появу нових наук, які раніше просто неможливо було уявити. Як правило, вони виникали на стику наук, часто не пов'язаних один з одним. Так, на стику біології та інженерних наук виникла біоніка, на стику психології і лінгвістики - психолінгвістика, а на стику обчислювальної техніки та лінгвістики народилася наука, про яку й піде мова далі.
Нова наука кілька разів змінювала назву: спочатку вона називалася математичної лінгвістикою, потім структурної лінгвістикою та обчислювальної лінгвістикою. Нарешті за нею міцно зміцнилося її сучасна назва - комп'ютерна лінгвістика.
Дві причини зумовили появу нової науки. По-перше, дослідники-лінгвісти сподівалися, що сучасні точні науки (і, насамперед, математика) допоможуть лінгвістиці знайти відсутню їй точність. Поява ЕОМ зміцнило ці надії, так як багатьом лінгвістам з самого початку було ясно, що комп'ютери - це не тільки "швидко працюють арифмометри", а й потужний засіб для автоматизації роботи з текстами. З'явилася можливість автоматизувати багато трудомісткі процеси, наприклад, статистичну обробку текстів, ведення різноманітних словникових та лексичних картотек.
друге, з появою комп'ютерів майже відразу ж виникла проблема спілкування з ними непідготовлених користувачів. Безперечно, найкращою формою для таких користувачів міг бути звичний природний мову.
До початку 70-х рр.. комп'ютерна лінгвістика отримала "права громадянства": стали виходити спеціальні збірники та журнали з комп'ютерної лінгвістики, створювалися відповідні лекції на лінгвістичних конференціях і конференціях з штучного інтелекту і, нарешті, стали скликатися всесвітні форуми, присвячені виключно проблемам цієї науки. У більшості розвинених країн почався процес підготовки фахівців в області комп'ютерної лінгвістики.
В даний час в комп'ютерній лінгвістиці виділяються кілька основних напрямків. Наприклад, аналіз текстів на природній мові.
Лінгвісти давно вивчають, як влаштований текст, і, насамперед пропозицію, відіграватиме роль цеглинки, з сукупності яких складається текст. Але лише з появою комп'ютерів ці дослідження набули новий напрямок. Група американських лінгвістів висунула зухвалу ідею, отримала назву Джорджтаунський проект, - автоматизувати процес перекладу текстів з однієї мови на іншу, використовуючи для цього ЕОМ. Ідея зацікавила лінгвістів багатьох країн і активізувала роботи в галузі аналізу текстів. У ході цих робіт треба було відповісти на питання: "Чи існують суворі формальні правила, за якими будується структура пропозиції і структура тексту? ". Якщо про структуру пропозиції лінгвісти накопичили багато матеріалу, то структура тексту ними не вивчалась.
У результаті проведених досліджень стало ясно, що за кожним текстом (в тому числі і за окремою пропозицією, що є свого роду міні-текстом) ховається не одна, а кілька формальних структур, які можна розділити на три рівні.
Перший рівень - це поверхнева синтаксична структура. У цій структурі кожне речення тексту розглядається ізольовано від інших і для кожного проводиться щось на зразок розбору пропозиції щодо його членам, як всі ми робили в школі. Але цієї структури для аналізу виявляється мало.
Наступний крок - побудова глибинної синтаксичної структури (д...
