Инструмент технологии машинного обучения: алгоритм Random Forest

Диплом 2021 года. Оригинальность высокая.

Цель выпускной квалификационной работы – реализация алгоритма машинного обучения Random Forest для решения задач классификации на наборе данных сервиса Kaggle с помощью языка программирования R.

Исходя из выделенной цели выпускной квалификационной работы, определены следующие задачи:

−               описать историю возникновения и развития машинного обучения;

−               рассмотреть существующие алгоритмы машинного обучения;

−               описать историю появления алгоритма Random Forest;

−               рассмотреть способы реализации алгоритма Random Forest;

−               подготовить данные для работы с алгоритмом;

−               реализовать алгоритм Random Forest с помощью языка программирования R;

−               проанализировать полученные результаты.

Объектом исследования является алгоритм машинного обучения Random Forest.

Предмет исследования – реализация алгоритма машинного обучения Random Forest средствами языками R.

Выпускная квалификационная работа состоит из трех глав.

В первой главе «Теоретические основы машинного обучения» идет речь об истории возникновении машинного обучения, его основных понятиях, основных алгоритмах машинного обучения, решающих задачи классификации, а также представлены инструменты для реализации алгоритмов.

Во второй главе «Технологическая реализация алгоритма машинного обучения Random Forest на языке R» рассказано о понятии «Decision Tree» и как он реализуется, также непосредственно рассказано о алгоритме Random Forest и способах его реализации с помощью библиотек языка R.

Третья глава «Практическая реализация алгоритма Random Forest с помощью библиотек языка R» посвящена описанию датасета «Heart Attack Analysis & Prediction Dataset» с сервиса Kaggle, а также реализации алгоритма Random Forest с дальнейшим анализом выполненной работы.

Список сокращений. 4

Введение. 5

1 Теоретические основы технологии машинного обучения. 7

1.1 Основные понятия машинного обучения: исторические и технологические аспекты.. 7

1.2 Анализ алгоритмов классификации в машинном обучении. 11

1.3 Анализ инструментов реализации технологий машинного обучения. 18

2 Технологическая реализация алгоритма машинного обучения Random Forest на языке R.. 22

2.1 Сущность понятия Decision Tree в алгоритме Random Forest 22

2.2 Введение в алгоритм Random Forest 25

2.3 Описание библиотек языка R для реализации алгоритма Random Forest 29

3 Практическая реализация алгоритма Random Forest с помощью библиотек языка R.. 32

3.1 Описание и интерпретация датасета «Heart Attack Analysis & Prediction Dataset» с сайта Kaggle. 32

3.2 Применение алгоритма Random Forest на наборе данных с сервиса Kaggle. 36

3.3 Анализ результатов алгоритма Random Forest для классификации данных с сайта Kaggle. 54

Заключение. 60

Список использованных источников. 62

Приложение А  65

1.         Айвазян С. А. Прикладная статистика: основы моделирования и первичная обработка данных [Текст] / Айвазян С. А., Енюков И. С., Мешалкин Л. Д. – Москва: Финансы и статистика, 1983.

2.         Бринк, Х. Машинное обучение [Текст]. / Бринк, Х., Ричардс, Д., Фуверолф, М.: Питер, 2017.

3.         Бурков, А. Машинное обучение без лишних слов [Текст] :

Питер, 2020.

4.         Джеймс Г. Введение в статистическое обучение с примерами на языке R [Текст] / Джеймс Г., Уиттон А., Хасти Т., Тибширани Р. – Москва: ДМК Пресс, 2016.

5.         Павлов Ю. Л. Предельные теоремы для числа деревьев заданнного объема в случайном лесе // Математический сборник. 1977. Т. 103, № 3. C. 392–403.

6.         Павлов Ю. Л. Предельные теоремы для числа деревьев заданнного объема в случайном лесе // Математический сборник. 1977. Т. 103, № 3. C. 392–403.

7.         Павлов Ю. Л. Случайный лес // Вероятность и математическая статистика. М.: Изд. "Большая Российская Энциклопедия”, 1999. C. 604–605.

8.         Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных [Текст] – Москва: ДМК Пресс, 2015.

9.         Флах П. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных [Текст] – Москва: ДМК Пресс, 2015.

10.     Чистяков С.П. Случайные леса: обзор // Тр. Карельского науч. центра РАН. 2013. Вып. 1. С. 117–136.

11.     Чубукова И.А. Курс лекций по Data Mining [Текст]: – учеб. - М.: Интернет-университет информационных технологий, Бином. Лаборатория знаний, 2010.

12.     Breiman L. Random Forests. Machine Learning, 2001, no. 45, pр. 5–32.

13.     Breiman L., Friedman J.H., Olshen R.A., and Stone C.J. Classification and Regression Trees, Wadsworth, Belmont, CA, 1984, 368 p.

14.     Chiu D. Machine Learning with R Cookbook [Text] – Birmingham: Packt Publishing, 2017

15.     Classification and Regression Training [Электронный ресурс]. - Режим доступа: https://www.rdocumentation.org/packages/caret/versions/6.0-86, свободный.

16.     Data Mining: Concepts and Techniques (The Morgan Kaufmann Series in Data Management Systems) 3rd Edition.

17.     Fauler M. UML Distilled: A Brief Guide to the Standard Object Modeling Language. Addison-Wesley, 1997. 192 p.

18.     Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd ed., Springer-Verlag, 2009, 746 p.

19.     Kuncheva L. I. Combining Pattern Classifiers: Methods and Algorithms / Hoboken, New Jersey: John Wiley Sons, 2004. 349 p.

20.     Алгоритм кластеризации K-средних для машинного обучения [Электронный ресурс]. – Режим доступа: https://medium.com/capital-one-tech/k-means-clustering-algorithm-for-machine-learning-d1d7dc5de882

21.     Алгоритм кластеризации K-средних: приложения, типы, демонстрации и сценарии использования [Электронный ресурс]. – Режим доступа: https://www.simplilearn.com/tutorials/machine-learning-tutorial/k-means-clustering-algorithm

22.     Алгоритм машины опорных векторов [Электронный ресурс]. – Режим доступа: https://www.javatpoint.com/machine-learning-support-vector-machine-algorithm

23.     Введение в алгоритм повышения градиента для машинного обучения [Электронный ресурс]. – Режим доступа: https://machinelearningmastery.com/gentle-introduction-gradient-boosting-algorithm-machine-learning/

24.     Контролируемые и неконтролируемые алгоритмы машинного обучения [Электронный ресурс]. – Режим доступа: https://machinelearningmastery.com/supervised-and-unsupervised-machine-learning-algorithms/

25.     Краткая история машинного обучения [Электронный ресурс]. – Режим доступа: https://www.dataversity.net/a-brief-history-of-machine-learning/

26.     Лучшие примеры машинного обучения [Электронный ресурс]. – Режим доступа: https://bigdata-madesimple.com/top-10-real-life-examples-of-machine-learning

27.     Обзор самых популярных алгоритмов машинного обучения [Электронный ресурс]. – Режим доступа: https://tproger.ru/translations/top-machine-learning-algorithms/

28.     Простые шаги для изучения наивного байесовского алгоритма с кодами на Python и R [Электронный ресурс]. – Режим доступа: https://www.analyticsvidhya.com/blog/2017/09/naive-bayes-explained/

29.     Разъяснение алгоритма дерева решений [Электронный ресурс]. – Режим доступа: https://www.kdnuggets.com/2020/01/decision-tree-algorithm-explained

30.     StatiscticsSolution Advancement Through Clarity [Электронный ресурс]. – Режим доступа: https://www.statisticssolutions.com/what-is-logistic-regression/