контрольним (тестовим), решта N - 1 блоків оголошуються навчальними (тренувальними). Виконується навчання класифікатора по навчальним блокам, а потім здійснюється класифікація об'єктів у контрольному блоці. Процедура навчання повторюється N раз, в результаті всі об'єкти виявляються класифікованими як контрольні рівно по одному разу, і як навчальні по (N - 1) разів.
Рис. 2 - Процедура 3-кратної перехресної перевірки
Для оцінки якості роботи класифікатора використовують заздалегідь визначену метрику, наприклад, точність (precision). Підсумкову оцінку точності класифікації обчислюють як середнє арифметичне значення точності по всіх циклах. Таким чином, процедура перехресної перевірки дозволяє максимально повно використовувати наявні вибіркові дані для оцінки якості автоматичної класифікації.
Зазвичай перехресна перевірка використовується в ситуаціях, коли необхідно оцінити, наскільки пророкує модель здатна працювати на практиці. Необхідно відзначити, що недоліком процедури перехресного контролю є високі обчислювальні витрати, оскільки в кожному циклі необхідно проводити навчання класифікатора.
1.4 Метрики якості
Для оцінки ефективності ДСМ-методу будемо користуватися наступними метриками - правильність (accuracy), точність (precision), повнота (recall) і F1-міра (F1-measure).
Ці метрики легко розрахувати на підставі таблиці спряженості, яка складається для кожного класу окремо.
Таблиця 1 - Таблиця спряженості
КатегоріяЕкспертная оценкаPositiveNegativeОценка классификатораPositiveTPFPNegativeFNTN
У таблиці міститься інформація про те, скільки разів система прийняла вірне і скільки разів невірне рішення по об'єктах заданого класу. Умовні позначення категорій: (true positives) - об'єкти, які класифікатор відніс до позитивного класу і які дійсно належать позитивному класу; TN (true negative) - об'єкти, які класифікатор відніс до негативного класу і які дійсно належать негативному класу; (false positive) - об'єкти, які класифікатор помилково відніс до позитивного класу, хоча насправді вони відносяться до негативного класу; (false negative)- об'єкти, які класифікатор помилково відніс до негативного класу, хоча насправді вони відносяться до позитивного класу.
Опис основних метрик наведемо відповідно до [5].
1.4.1 Правильність і помилковість
На практиці не буває систем, абсолютно точно визначають правильні співвідношення класів та належних їм об'єктів. Класифікатор працюватиме з помилками щодо тестової вибірки. Для оцінки успішності зіставлення класів та об'єктів використовується метрика правильності:
, (8)
де в чисельнику - кількість об'єктів, по яких класифікатор прийняв правильне рішення, в знаменнику - розмір класифікується вибірки. Для оцінки відсотка помилок використовується метрика помилковості:
, (9)
де в чисельнику - кількість об'єктів, по яких класифікатор прийняв помилкове рішення. Це метрика використовується не так часто в задачах текстової класифікації.
1.4.2 Точність і повнота
Точність P і повнота R є метриками, які використовуют...
