Разработка сервиса для сортировки каналов в социальной сети с помощью методов машинного обучения

Учитывая все выше сказанное, можем сделать вывод, что автоматическая классификация текста является актуальной задачей. В данной работе рассматривается сортировка каналов в социальной сети. В процессе планирования дипломной работы предполагалось разработать и внедрить функцию автоматической сортировки в приложение Telegram, однако в феврале 2021 года разработчики ограничили возможность авторизации через веб-браузер, что значительно усложнило задачу подключения к API и отладки приложения. По- этому было решено разработать собственную социальную сеть, функционал которой полностью бы зависел от нас самих.

Таким образом, цель выпускной квалификационной работы – разработка сервиса для автоматической сортировки каналов в социальной сети с помощью методов машинного обучения.

Задачи:

-      Исследовать предметную область;

-      Составить техническое задание на разработку социальной сети;

-      Рассмотреть несколько методов машинного обучения для классификации текстов;

-      Подготовить датасет;

-      Разработать серверную часть приложения;

-      Разработать клиентскую часть приложения;

-      Протестировать работу приложения.

Аннотация........................................................................................................ 3

Abstract............................................................................................................ 4

Введение.......................................................................................................... 5

1.        Анализ предметной области..................................................................... 7

1.1.             Обзор существующих программ..................................................... 7

1.2.             Разработка технического задания................................................... 8

1.3.             Проектирование базы данных....................................................... 12

2.        Реализация алгоритмов машинного обучения...................................... 15

2.1.             Обоснование выбора языка программирования.......................... 15

2.2.             Алгоритмы машинного обучения.................................................. 18

2.3.             Разработка клиент-серверного приложения................................. 29

2.4.             Разработка интерфейса приложения............................................. 33

3.        Тестирование........................................................................................... 38

3.1.             Тестирование серверной части приложения................................. 38

3.2.             Тестирование клиентской части приложения................................ 39

Заключение.................................................................................................... 42

Список использованных источников............................................................ 44

Приложение

1.               Байесовский классификатор [Электронный ресурс] / machinelearn- ing.ru–                  MACHINELEARNING.RU            –          Режим          доступа:

 http://www.machinelearning.ru/wiki/Байесовский_классификатор      - Дата обра- щения: 25.04.2021.

2.               Введение — Vue.js [Электронный ресурс] / ru.vuejs.org — Vue.js.

— Режим доступа: https://ru.vuejs.org/v2/guide/. — Дата обращения: 24.05.2021.

3.               Графический клиент pgAdmin [Электронный ресурс] / METANIT.COM — Режим доступа: https://metanit.com/sql/postgresql/1.2.php .

— Дата обращения: 21.05.2021.

4.               Документация | Node.js [Электронный ресурс] / nodejs.org — node.js. — Режим доступа: https://nodejs.org/ru/docs/. — Дата обращения: 21.05.2021.

5.               Кантор И. Современный учебник JavaScript [Электронный ресурс]

/     learn.javascript.ru   —     JAVASCRIPT.RU.    —     Режим     доступа: https://learn.javascript.ru/. — Дата обращения: 22.05.2021.

6.               Кластеризация: алгоритмы k-means и c-means / Хабр [Электрон- ный ресурс] / habr.com— HABRAHABR.RU — Режим доступа: https://habr.com/ru/post/67078/ — Дата обращения: 19.04.2021.

7.               Логистическая регрессия [Электронный ресурс] / wiki.loginom.ru – LOGINOM.RU– Режим доступа: https://wiki.loginom.ru/articles/logistic- regression.html - Дата обращения: 25.04.2021.

8.               Метод стохастического градиента [Электронный ресурс] / ma- chinelearning.ru – MACHINELEARNING.RU – Режим доступа:

 http://www.machinelearning.ru/wiki/Метод_стохастического_градиента    - Дата обращения: 10.05.2021.

9.               Обзор алгоритмов кластеризации данных/ Хабр [Электронный ре- сурс] / habr.com— HABRAHABR.RU — Режим доступа: https://habr.com/ru/post/101338/ — Дата обращения: 13.05.2021.

10.             Теорема Байеса [Электронный ресурс] / wikipedia.org – интернет- энциклопедия – Режим доступа: https://ru.wikipedia.org/wiki/Теорема_Байеса - Дата обращения: 25.04.2021.

11.             Официальная документация Django Rest Framework [электронный ресурс] – Режим доступа: https://www.django-rest-framework.org/ - дата обра- щения 08.05.2021.

12.             Django введение [электронный ресурс] / developer.mozilla.org – Ре- жим                   доступа:             https://developer.mozilla.org/ru/docs/Learn/Server- side/Django/Introduction - Дата обращения: 06.05.2021..

13.             Django учебник [электронный ресурс] / developer.mozilla.org – Ре- жим        доступа:     https://developer.mozilla.org/ru/docs/Learn/Server- side/Django/Models – Дата обращения: 26.04.2021.

14.             JetBrains PyCharm [электронный ресурс] / jetbrains.com – Режим доступа: https://www.jetbrains.com/ru-ru/pycharm/ - Дата обращения: 05.04.2021

15.          Russian Stemming Algorithm — [Электронный ресурс] / snowball.tartarus.org                  —                     Режим                     доступа: http://snowball.tartarus.org/algorithms/russian/stemmer.html — Дата обращения: 15.05.2021.

16.             Selenium with Python — [Электронный ресурс] / http://snowball.tartarus.org/ — Режим доступа: https://selenium- python.readthedocs.io/. — Дата обращения: 12.05.2021.

17.             Stemming and lemmatization — [Электронный ресурс] / nlp.stanford.edu — Режим доступа: https://nlp.stanford.edu/IR- book/html/htmledition/stemming-and-lemmatization-1.html — Дата обращения: 23.05.2021.

18.             Vue.js для сомневающихся [электронный ресурс] / habr.com – Ре- жим доступа: https://habr.com/ru/post/329452/ - Дата обращения: 12.05.2021.

19.             What is vectorization? [электронный ресурс] / stackoverflow.com – Режим доступа: https://stackoverflow.com/questions/1422149/what-is-

vectorization - Дата обращения: 02.05.2021.

20.          What is tokenization? [электронный ресурс] / www.tokenex.com – Режим доступа: https://www.tokenex.com/resource-center/what-is-tokenization# - Дата обращения: 15.05.2021.