т.2371334850Ручной45845280Все частини речіАвт.72412113258Ручной62176874
Поряд з підвищенням якості знизилося час роботи програми. Це викликано зменшенням кількості слів у ручному словнику порівняно з автоматичним, і як наслідок, зниженням часу пошуку перетинань текстів. У табл. 6 цей факт підтверджується зменшенням кількості гіпотез.
б) Вплив частин мови
Проведені випробування показали, що з трьох найчисельніших груп частин мови (дод., сущ., гл.) найкращі оцінки якості визначення тональності досягаються при використанні прикметників. У табл. 7 наведені результати поліпшення оцінок при використанні прикметників в порівнянні з іншими частинами мови. Порівняння проведено за результатами випробувань з ручним словником.
Таблиця 7 - Поліпшення оцінок при використанні прикметників в порівнянні з іншими частинами мови (при використанні ручного словника)
Джерело даннихЧасть промови, з якою проводилося сравненіеМетрікаPrecisionRecallF1-measureAccuracyТабл. 2сущ.19, 4% 3,8% 12,3% 1,5% гл.30, 4% 10,4% 20,7% 15,3% Табл. 3сущ.34, 5% 8,4% 21,1% 8,4% гл.11, 5% 11,3% 11,9% 10,1%
Об'єднання прикметників з іншими частинами мови дозволило отримати ще більш високі оцінки. Найкращі і близькі між собою оцінки були досягнуті при комбінаціях:
· за даними табл. 2 - дод. + Сущ., Дод. + Сущ. + Гл.;
· за даними табл. 3 - дод. + Сущ., Дод. + Сущ. + Гл., Всі частини мови.
Даний експеримент показав, що найбільший внесок у якість визначення тональності тексту вносять прикметники.
в) Спільне вплив словника і частин мови
За даними табл. 2 і 3 найменш хороші результати показало використання сущ. та автоматичного словника. Найкращі результати (рядки, виділені сірим кольором) були досягнуті при використанні сполучень ручного словника і дод. + Сущ., Дод. + Сущ. + Гл., Всіх частин мови.
2. Результати експерименту залежно від функції вирішення конфліктів
В процесі експерименту для кожного-тексту на основі збігів характеристик визначалися безлічі підходящих позитивних і негативних гіпотез. Потім ці гіпотези надходили на вхід функції вирішення конфліктів, яка на основі заданого критерію привласнювала тексту певну тональність. Для вирішення конфліктів використовувалися функції, наведені в п. 1.2.2. Комп'ютерний експеримент проводився при коефіцієнті природного дисбалансу. Результати представлені в табл. 8.
Таблиця 8 - Результати роботи ДСМ-методу в залежності від функції вирішення конфліктів
Критерій функції дозволу конфліктовМетрікі качестваPrecisionRecallF1-measureAccuracyСуммарное кількість гіпотез 0,950 0,906 0,9270,919 Сумарна кількість характеристик у всіх гіпотезах0, 919 0,915 0,9170,911 Сумарна кількість батьків у всіх гіпотез0, 9400,8500,8920,882 Твір кількості характеристик на кількість родітелей0, 9320,8430,8850,874 Виважена середнє арифметичне числа характерістік0, 9410,8440,8890,879 Виважена середнє арифметичне числа родітелей0, 7170,6790,6960,691
Дані табл. 8 були отримані при використанні ручного словника з прикметниками. На підставі цих можна укласти, що функція вир...
