Алгоритмы машинного обучения для фильтрации спама

Цель курсовой работы — реализовать и сравнить алгоритмы машинного обучения для фильтрации спама.

Для достижения цели поставлены следующие задачи:

·                  Определить основные понятия машинного обучения

·                  Выбрать подходящие алгоритмы для решения задачи фильтрации спама

·                  Подобрать данные для обучения и тестирования

·                  Реализовать и обучить выбранные алгоритмы

·                  Сравнить реализованные алгоритмы

Спам — это массово рассылаемые рекламные сообщения конкретных людей или организаций для тех, кто не желает получать таковые сообщения. С появлением в современном мире сети Интернет и связанной с ней электронной почтой резко возникла потребность в фильтрации спама, потому что распространение спам-сообщений стало очень частым явлением для владельцев виртуальных ящиков. В настоящий момент эта проблема не решена до конца, потому что появляются всё новые способы организации вредоносной или просто неприятной рассылки. Современные электронные ящики снабжены своими проработанными системами фильтрации спама, которые в целом работают и отделяют ненужные для пользователя письма, но даже они иногда дают сбой, и происходит неправильная сортировка. Именно из-за этого тема фильтрации спама все еще остается актуальной.

Данная задача с самого начала решалась с помощью методов машинного обучения. По мере развития данной области начали появляться различные классификаторы, которые используются для фильтрации спама, представленного в виде текстового сообщения. Некоторые из таких классификаторов будут главными рассматриваемыми объектами данной работы. 

СОДЕРЖАНИЕ

ВВЕДЕНИЕ. 3

1 Теоретическая часть. 4

1.1 Машинное обучение. 4

1.2 Задача классификации. 5

1.3 Классификаторы для фильтрации спама. 6

1.3.1 «Наивный» байесовский алгоритм. 7

1.3.2 Метод опорных векторов. 9

1.4 Метрики для оценки алгоритмов классификации. 14

1.5 Инструментарий и технологии. 16

2 Практическая часть. 18

2.1 Работа с данными для обучения и тестирования модели. 18

2.2 Реализация работы классификаторов и оценка их работы.. 20

ЗАКЛЮЧЕНИЕ. 26

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ. 27

ПРИЛОЖЕНИЕ А Листинг программы классификации спама на основе «наивного» байесовского алгоритма. 29

ПРИЛОЖЕНИЕ Б Листинг программы классификации спама на основе метода опорных векторов. 36

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1.                Курс Введение в машинное обучение [Электронный ресурс]. – URL: https://www.coursera.org/learn/vvedenie-mashinnoe-obuchenie (дата обращения: 01.04.2020).

2.                Мюллер, Андреас, Гвидо, Сара. Введение в машинное обучение с помощью Python. Руководство для специалистов по работе с данными. : Пер. с англ. — СПб. : ООО «Диалектика», 2019. — 480 с.

3.                Общие понятия [Электронный ресурс]. – URL: http://neerc.ifmo.ru/wiki/index.php?title=Общие_понятия (дата обращения: 10.05.2020).

4.                Машинное обучение [Электронный ресурс]. – URL: http://www.machinelearning.ru/wiki/index.php?title=Машинное_обучение (дата обращения: 02.04.2020).

5.                Лекция 1. Различные задачи машинного обучения [Электронный ресурс]. – URL: http://www.machinelearning.ru/wiki/images/a/a1/BayesML-2009-1.pdf (дата обращения: 02.04.2020).

6.                Скляренко Н.С. Обзор алгоритмов машинного обучения, решающих задачу обнаружения спама // Новые информационные технологии в автоматизированных системах. 2017. №20. [Электронный ресурс]. – URL: https://cyberleninka.ru/article/n/obzor-algoritmov-mashinnogo-obucheniya-reshayuschih-zadachu-obnaruzheniya-spama (дата обращения: 05.04.2020).

7.                Бурлаков Михаил Евгеньевич Применение в задаче классификации SMS сообщений оптимизированного наивного байесовского классификатора // Известия Самарского научного центра РАН. 2016. №4-4. [Электронный ресурс]. – URL: https://cyberleninka.ru/article/n/primenenie-v-zadache-klassifikatsii-sms-soobscheniy-optimizirovannogo-naivnogo-bayesovskogo-klassifikatora (дата обращения: 05.04.2020).

8.                6 простых шагов для освоения наивного байесовского алгоритма [Электронный ресурс]. – URL: http://datareview.info/article/6-prostyih-shagov-dlya-osvoeniya-naivnogo-bayesovskogo-algoritma-s-primerom-koda-na-python/ (дата обращения: 05.04.2020).

9.                Bayesian poisoning [Электронный ресурс]. – URL: https://en.wikipedia.org/wiki/Bayesian_poisoning (дата обращения: 10.05.2020).

10.            Метод опорных векторов [Электронный ресурс]. – URL: https://ru.wikipedia.org/wiki/Метод_опорных_векторов (дата обращения: 05.04.2020).

11.            Матрица ошибок (Confusion matrix) [Электронный ресурс]. – URL: https://learnmachinelearning.wikia.org/ru/wiki/Матрица_ошибок_(Confusion_matrix) (дата обращения: 16.05.2020).

12.            Оценка классификатора (точность, полнота, F-мера) [Электронный ресурс]. – URL: http://bazhenov.me/blog/2012/07/21/classification-performance-evaluation.html (дата обращения: 16.05.2020).

13.            SMS Spam Collection Data Set [Электронный ресурс]. – URL: http://archive.ics.uci.edu/ml/datasets/SMS+Spam+Collection (дата обращения: 22.05.2020).

14.            sklearn.naive_bayes.MultinomialNB [Электронный ресурс]. – URL: https://scikit-learn.org/stable/modules/generated/sklearn.naive_bayes.MultinomialNB.html (дата обращения: 15.05.2020).

sklearn.svm.SVC [Электронный ресурс]. – URL: https://scikit-learn.org/stable/modules/generated/sklearn.svm.SVC.html (дата обращения: 15.05.2020).