нсолідації та деталізації
Для зрозумілого і простого формального представлення операцій консолідації та деталізації візьмемо за приклад - вектор.
.
.
1.4.2 Завдання, методи й алгоритми Data Mining
У службах MicrosoftSQLServerреалізовано декілька алгоритмів в рішеннях інтелектуального аналізу даних. Вибір правильного алгоритму в конкретній аналітичної задачі може бути досить складним. У той час як можна використовувати різні алгоритми для виконання однієї і тієї ж задачі, кожен алгоритм видає різний результат. Наприклад, можна використовувати алгоритм дерева прийняття рішень (Майкрософт) не тільки для прогнозування, але також в якості способу зменшення кількості стовпців в наборі даних, оскільки дерево прийняття рішень може ідентифікувати стовпці, які не впливають на кінцеву модель інтелектуального аналізу даних.
Метод являє собою норму або правило, певний шлях, спосіб, прийом рішень задачі теоретичного, практичного, пізнавального, управлінського характеру.
Більшість аналітичних методів, що використовуються в технології Data Mining - це відомі математичні алгоритми і методи. Слід зазначити, що більшість методів Data Mining були розроблені в рамках теорії штучного інтелекту.
До часто використовуються методам і алгоритмам Data Mining відносяться:
. Спрощений алгоритм Байеса;
. Дерева рішень;
. Лінійна регресія;
. Аналіз часових рядів;
. Кластеризація;
. Алгоритм взаємозв'язків;
. Кластеризація послідовностей;
. Нейронні мережі;
. Логічна регресія;
. 4.2.1 Завдання класифікації і регресії
Формально задачу класифікації і регресії можна описати таким чином. Є безліч об'єктів:
, (1)
де - досліджуваний об'єкт.
Кожен об'єкт характеризується набором змінних:
, (2)
де - незалежні змінні, значення яких відомі і на підставі яких визначається значення залежної змінної.
У Data Mining часто набір незалежних змінних позначають у вигляді вектора:
. 3)
Кожна змінна може приймати значення з деякого безлічі:
. (4)
Якщо безліч значень змінної кінцеве, то задача називається задачею класифікації. Якщо змінна приймає значення на множині дійсних чисел, то задача називається задачею регресії.
У задачах класифікації і регресії виявлена ??функціональна залежність між змінними може бути представлена ??одним із таких способів:
· класифікаційні правила;
· дерева рішень;
· математичні функції.
Класифікаційні правила складаються з двох частин: умови та укладення: якщо (умова), то (висновок).
Умовою є перевірка однієї або декількох незалежних змінних. Перевірки декількох змінних можуть бути об'єднані за допомогою операцій і raquo ;, або і laquo, не raquo ;. Заключним є значення залежної змінної або розподіл її імовірності по класах.
Основною перевагою правил є легкість їх сприйняття і запис на природній мові. Ще одна перевага - їх відносна незалежність.
Існують різні методи побудови правил класифікації: алгоритм побудови 1-правил, метод Naive Bayes.
Дерева рішень - це спосіб представлення правил в ієрархічній, послідовної структурі.
Дерева рішень легко перетворюються в правила. У умовну частину таких правил записується умова, описане у вузлах дерева на шляху до листу, в заключну частину - значення, визначене в листі.
Існують різні методи побудови дерев рішень, такі як: методика «розділяй і володарюй», алгоритм ID3, алгоритм С4.5, алгоритм покриття.
Математична функція виражає відношення залежної змінної від незалежних змінних. У цьому випадку аналізовані об'єкти розглядаються як точки в
мірному просторі. Тоді змінні об'єкта розглядаються як координати, а функція має наступний вигляд:
, (5)
де - ваги незалежних змінних, в пошуку яких і складається задача знаходження класифікаційної функції.
Очевидно, що всі змінні повинні бути представлені у вигляді числових параметрів.
Існують різні методи побудови математичних функцій: лінійні методи, такі як метод найменших квадратів, нелінійні методи, Support Vector Machines, регулярізаціонние мережі, дискретизації і рідкісні сітки.
. 4.2.2 Завдання класт...
