відповідними таблицями визначити рівень значимості отриманих результатів. Вважається, що групові оцінки експертів достовірні, якщо між особистими оцінками експертів спостерігається велика узгодженість.
Крім того, кількісно ступінь узгодженості думок експертів можна визначити коефіцієнтом згоди Е, який був різновидом коефіцієнта множинної кореляції. Коефіцієнт згоди обчислюється за формулою:
В
де m - число експертів;
Rij - коефіцієнт кореляції оцінок i і l експертів.
Після обчислення коефіцієнта згоди він перевіряється на значимість, тобто перевіряється гіпотеза про випадковість отримання даного значення Є. Цю гіпотезу можна інтерпретувати або як незалежність оцінок експертів, або як випадковість проставлення експертами своїх оцінок. Перевіряється вона по процедурі статистичної перевірки гіпотез.
Значення коефіцієнта згоди і результат його перевірки на значимість використовуються для аналізу достовірності групових оцінок при невеликому (m <= 15) числі експертів. При великій кількості експертів коефіцієнт згоди зазвичай зменшується, і в той же час він виявляється значущим, тому що при їх великому числі з більшою ймовірністю знайдеться кілька експертів, думки яких узгоджуються, а це призведе до неприйняття гіпотези про незалежність їхніх думок. Тому при великому числі експертів для оцінки достовірності, поряд з узгодженістю, слід використовувати поняття стійкості групової оцінки.
Стійкість групових оцінок об'єктів визначається як незалежність групових оцінок від складу експертної групи, тобто групова оцінка об'єкта; стійка, якщо вона не змінюється при виключенні деякого числа експертів з експертної групи.
У випадках, коли групові оцінки об'єкта виявилися недостатніми (Тобто коефіцієнт згоди виявився незначним або групові оцінки нестійкі), доцільно виділити з експертів деяку групу, оцінки об'єктів яких, і групові оцінки в рамках групи будуть достовірними. У деяких випадках вдається виділити не одну таку групу, а декілька, в кожній з яких оцінки експертів близькі. Зазвичай це трапляється при проведенні експертиз по складному питання, на вирішення якого існує кілька точок зору. Тоді кожна сформована група експертів відображає одну точку зору, відмінну від інших.
Слід зазначити, що завдання групування експертів відноситься до комбінаторним задачах, так що розробити оптимальний алгоритм групування досить складно. Тому використовуються послідовні алгоритми, суть яких в наступному. Знаходиться пара експертів, думки яких найбільш подібні (для цього використовується матриця кореляції експерт - експерт). Потім з залишилися m-2 експертів виділяється експерт, думка якого найближче до групи з трьох експертів і т. д. На кожному кроці обчислюється коефіцієнт згоди сформованої групи експертів і перевіряється його значимість. Збільшення групи ведеться до тих пір, поки після приєднання до неї нового експерта групові оцінки об'єктів залишаються дост...
