ристовуються наступні методи:
Г? документальний - на урахуванням аналізу анкет та інших видів документів, що містять більше або менше об'єктивну інформацію про людей, до яких вони належать;
Г? експериментальний-на основі аналізу досвіду роботи експертів при проведенні попередніх експертиз;
Г? голосування експертів, складових групу з відбору та формування експертної групи;
Г? самооцінки, яку здійснюють стосовно до поставленого завдання експертизи кандидати в створювану групу.
Сформовані таким чином експертні групи повинні бути перевірені на здатність виносити компетентні і незалежні судження. Ці судження можуть бути перевірені на сукупності незалежних якісних факторів шляхом ранжирування (тобто розташування цих факторів у порядку їх відносної значущості) або зважування (Тобто додання цим факторам деяких кількісних оцінок, наприклад, по бальною системою). Судження, що виносяться фахівцями, складовими експертну групу, можуть повністю збігатися, а можуть і різко відрізнятися один від одного. У першому випадку можуть виникнути сумніви в незалежності експертів. Можна припустити, що одні з них просто повторюють судження інших. У другому випадку виникають сумніви у кваліфікації експертів і в їх здатності компетентно судити про аналізований предмет. Є така американська жарт: В«Якщо два фахівця говорять по одному і тому ж питанню одне і те ж, то один з них не потрібен. Якщо ж вони говорять різні речі, то вони обидва не потрібні В». Для оцінки ступеня узгодженості та незалежності суджень експертів слід обчислювати коефіцієнти узгодженості.
Хорошим тестом для перевірки правильності формування експертної групи є список показників для багатокритеріальної оцінки, які слід проранжувати. Прикладом може служити вибір технологічного процесу для виробництва того чи іншого виробу з числа декількох варіантів, що у розпорядженні осіб, які приймають рішення. З однієї якої-небудь точки зору (по одному показнику) доцільним виявляється один якийсь варіант технологічного процесу, а з іншої точки зору (за іншим показником) більш доцільним виявляється інший. Якому з варіантів віддати перевагу? Відповідь на це питання можна дати, якщо встановити відносну важливість (проранжувати) названих показників.
Серед показників, які необхідно було проранжувати для оцінки та вибору варіанту технологічного процесу, в існуючій практиці технологічних експертиз групі експертів пред'являються наступні:
Г? показники, пов'язані з використовуваному устаткуванню (кількість одиниць обладнання, рівень його автоматизації та спеціалізації, вікова структура, коефіцієнт використання);
Г? показники, які стосуються персоналу (загальна чисельність, частки персоналу з вищою і середньою спеціальною освітою, висококваліфікованих робітників, які пройшли спеціальну перепідготовку та ін);
Г? показники, пов'язані з ступеня новизни процесу (загальний обсяг усіх видів В«ноу-хауВ», питомий об'єм В«ноу-хауВ» на одного працюючого і на одиницю вартості виробничих фондів, частки вартості комп'ютеризації та робіт з маркетингу, управлінню, інженерної підготовки та організації виробництва);
Г? показники, пов'язані з якістю продукції (частка витрат на НДР і ДКР, частка продукції, задовольняє світовим стандартам, частка імпорту, рівень оснащеності полігонів та лабораторної бази, вікова структура продукції);
Г? показники, пов'язані з енергоспоживанню (енергоємність на одиницю обладнання, на одиницю вартості продукції, що випускається, за окремими видами енергії, частка енергетичних витрат на технологічні потреби, загальне енергоспоживання).
Якщо після пред'явлення списку такого роду показників та їх ранжування групою експертів виходить задовільний розрахункове значення коефіцієнта конкордации (помітно більше 0, але помітно менше 1), то можна зробити наступні висновки:
1. Збіг здебільшого думок експертів з даного питання не можна вважати випадковим, тобто група експертів сформована правильно, і на їх думку можна покладатися.
2. На думку експертів, пропонований набір показників є повним і істотно значущим для вибору технологічного процесу.
Після сформування, перевірки і затвердження груп експертів можна їх залучати до роботи з оцінки ситуацій, що складаються в реальній виробничо-збутової системі. Тут необхідно вибрати і запропонувати експертам метод оцінки факторів, характерних для аналізованої ситуації. Відомі і застосовуються наступні методи: безпосередньої оцінки, у тому числі бальною; парного порівняння; послідовного порівняння; ранжирування.
Далі визначається процедура виявлення та реєстрації думок експертів, що входять до експертну групу. Відомі й можуть бути використані в тому чи іншому конкретному випадку наступні процедури такого роду: проведення одноетапного анкетування; проведення багатоетапного анкетування, проведення анкетування з зворотної зв'язком, проведення інтерв...
