Реферат
Обсяг роботи: 123 сторінки, 9 ілюстрацій, 4 додатки, 1 таблиця
Ключові слова: алгоритм класифікації, аналіз даних, data mining, машинне навчання
Дипломна робота присвячена методиці розробки програмного продукту для пошуку причин у змінах трендів в даних. Розглянуто створення системи предобработки даних і розробка системи класифікації на базі різних алгоритмів машинного навчання. У роботі визначається область застосування розробленої програми. Для розробки системи предобработки даних використаний мова програмування C #, Фреймворк .Net, а також СУБД MS SQL Server 2008R2. Для розробки системи класифікації використаний мова програмування Python і бібліотека Scikit-Learn. Для системи класифікації була використана стратегія One-vs-Rest для алгоритмів класифікації Машина Опорних Векторів (з різними ядрами) і Наївний Байєсівський Класифікатор. Розробка велася під операційною системою Windows 7. Здійснено експерименти з перевірки точності пояснень, що даються системою на тестових даних.
Зміст
Реферат
Введення
Постановка завдання
1. Методи машинного навчання та алгоритми машинного навчання
1.1 Завдання класифікації
1.2 Multiclass класифікація
1.2.1 Стратегія One-vs.-rest
1.3 Multi-label класифікація
Висновки
2. Методи та алгоритми, реалізовані в програмній системі
2.1 TF-IDF
2.2 Наївний Байєсівський Класифікатор
2.3 SVM
2.3.1 Стохастичний градієнт Спуск
Висновки
3. Реалізація системи
3.1 Передобробка інформації
3.1.1 Інструкція користувача
3.2 Система класифікації
3.2.1 Робочий режим
3.2.2 Тестовий режим
3.2.3 Інструкція користувача
Висновки
4. Машинний експеримент
Висновки
Висновок
Список використаних ресурсів
Додаток 1. Система предобработки інформації
Program.cs
FactMiner.cs
Logger.cs
Додаток 2. Файл конфігурації системи предобработки інформації
Додаток 3. Збережені процедури і табличні уявлення бази даних FactEventAnalysisDB
usp_populateCoraxFactsTable
usp_clearFactsTables
SpikeFactsHypothesis
PriceFactsHypothesis
Додаток 4. Система класифікації
Введення
У сучасному світі особливо складною є задача з пошуку причини у зміні поведінки комплексної системи. Наприклад:
Що послужило причиною стрибка енергоспоживання міста?
Чому різко зросла захворюваність на грип в певній країні?
З якої причини ціна якоїсь цінного паперу різко впала в конкретний день?
Однією з найскладніших проблем при виявленні та розробці законів розвитку комплексних систем та прийняття рішень є формування розуміння внутрішніх зв'язків і механізмів тих чи інших процесів в системах. Як правило, цих зв'язків і механізмів багато, різні елементи системи можуть бути пов'язані між собою самими різними прямими і зворотними зв'язками, при цьому кожен елемент так чи інакше пов'язаний з функціями системи і дуже часто - зі шкідливими або небажаними ефектами. Враховувати і використовувати всі ці зв'язки в роботі дуже складно.
Справді, в будь-якому зі згаданих вище випадків на динаміку системи (рівень енергоспоживання, захворюваність, ціна цінного паперу) можуть впливати сотні тисяч різних подій. Виявити яка з подій викликало зміну в динаміці надзвичайно складно. Згідно з дослідженнями психологів, нормальна людина здатна утримувати в зоні своєї уваги 7 ± 2 об'єкта. А в реальних системах об'єктів і зв'язків у багато разів більше. В результаті при спробі все це «охопити в умі» увагу порушується, випадковим чином «стрибає» від об'єкта до об'єкта, перебільшує одні й применшує або просто пропускає інші елементи і зв'язку тощо Цілісну і об'єктивну картину побачити не вдається.
Наприклад, нижче представлений графік цін якоїсь нафтовидобувної компанії по місяцях.
Рис. 1. Приклад зламу тренда
На даному графіку явно видно зростання ціни акцій даної компанії аж до 6.1.2008, який змінився її стабільним спадом після цього моменту часу. Досвідчений фахівець в аналізі цінних паперів може перевірити події, які відбулися 6.1.2008 і з'ясувати, що в цей день був опублікований звіт про перспективи китайської економіки, який був негативним. Ціна акцій нафтовидобувних компаній сильно залежить від економіки Китаю, бо дана країна є найбільшим у світі споживачем нафти, і проблеми...
