Система анализа сообществ пользователей социальной сети 'ВКонтакте' с использованием методов машинного обучения

В Интернете под социальными сетями понимается использование сайтов социальных сетей, чтобы оставаться на связи с друзьями, семьей, коллегами или клиентами. Социальные сети могут иметь социальную цель, деловую цель или и то, и другое. Все такие возможности предоставляют многие социальные сети, например Одноклассники, Дзен и Вконтакте.

Автор статьи [1] связывает культуру социальных сетей со словосочетаниями: возможность делиться, пользовательский контент, культура соучастия, коллективный разум, мудрость толпы. Социальные сети позволяют пользователям общаться, делиться впечатлениями и другими объектами. Так социальные сети Flickr и Pinterest позволяют делиться изображениями, YouTube и Vimeo созданы для обмена видеороликами,

«Википедия» заботится об осуществлении обмена знаниями, а, к примеру, ВКонтакте об обмене друзьями и интересами.

В последнее время социальные сети являются неотъемлемой частью нашей жизни. Большинству людей они помогают общаться, находить друзей по интересам, узнавать что-то новое от других пользователей. Для компаний социальные сети стали возможностью больше рассказать о себе, привлечь новых сотрудников. Довольно часто социальные сети становятся площадкой для рекламы и продажи товаров. Для науки социальные сети также представляют немалый интерес, о чем свидетельствует ряд статей [2-7].

Ежемесячно свыше 600 тысяч предпринимателей представляют свой бизнес на платформе ВКонтакте, создавая группы, сообщества, публичные страницы и магазины. В свете этого компания ВКонтакте намерена продолжать развивать основные направления и запускать программы поддержки новых представителей бизнеса и авторов [8].

Существует множество сервисов, которые предлагают готовые решения для различных задач, таких как анализ конкурентов, поиск аудитории, продвижение, оценка эффективности публикаций, мониторинг активности в сообществе и анализ вовлеченности. Они также пользуются большой популярностью сервисы, которые собирают статистику с публикаций сообществ, подтверждая важность проводимого исследования [9].

Кроме того, результаты работы могут послужить основой для разработки алгоритма, который поможет выявлять потенциально опасные сообщества и пользователей, которые на них подписаны [10].

Данные факты подтверждают теоретическую и практическую значимости исследования и работ, проведенных при написании данной диссертации.

ВВЕДЕНИЕ............................................................................................. 3

1.  Работа с данными................................................................................ 7

1.1.   Планирование сбора набора данных сообществ............................ 7

1.2.   Реализация сбора набора данных сообществ................................. 9

1.3.   Хранение данных............................................................................ 12

2.  Система определение схожести сообществ...................................... 16

2.1.   Исследование методов анализа информации................................ 16

2.2.   Подготовка данных сообществ...................................................... 18

2.3.   Обучение модели нейронной сети................................................. 20

2.4.   Составление рекомендации сообществ.......................................... 24

2.5.   Аналитика подбора рекомендаций................................................ 24

3.  Пользовательский интерфейс............................................................ 27

3.1.   Исследование web-фреймворков................................................... 27

3.2.   Реализация интерфейса взаимодействия....................................... 30

3.3.   Развертывание проекта на облачном хостинге............................. 32

4.  Исследование связей между сообществами...................................... 34

4.1.   Тестирование прототипа подбора сообществ............................... 34

4.2.   Построение графика кластеров сообществ................................... 35

ЗАКЛЮЧЕНИЕ..................................................................................... 37

СПИСОК ЛИТЕРАТУРЫ..................................................................... 42

ПРИЛОЖЕНИЯ.................................................................................... 45

Приложение 1. Получение информации о пользователях................. 45

Приложение 2. Код модели анализатора и её обучение...................... 46

Приложение 3. Код расчёта наилучшей рекомендации....................... 48

Приложение 4. Код статистического анализа подбора сообществ..... 50

Приложение 5. Пример файла конфигурации Nginx         51

1)                История интернета: under construction [Электронный ресурс].

—2020. — URL: https://elibrary.ru/download/elibrary_43063763_62475869.pdf (дата обращения 13.04.2022).

2)                Задачи и алгоритмы машинного обучения: вероятностные графические модели [Электронный ресурс]. —2019. — URL: https://elibrary.ru/download/elibrary_38188597_78657357.pdf (дата обращения 12.04.2022).

3)                Основные методы анализа, используемые при исследовании социальных                  сетей   [Электронный                               ресурс].          —2016.

—URL:https://cyberleninka.ru/article/n/osnovnye-metody-analiza-ispolzuemye-pri

-issledovanii-sotsialnyh-setey (дата обращения 13.04.2022).

4)                Особенности этнической идентичности виртуальных татарских сообществ в социальной сети «ВКонтакте» [Электронный ресурс]. —2016. — URL:

https://cyberleninka.ru/article/n/osobennosti-etnicheskoy-identichnosti-virtualnyh-t atarskih-soobschestv-v-sotsialnoy-seti-vkontakte (дата обращения 16.04.2022).

5)                Разработка рекомендательной системы на основе данных из профиля социальной сети «ВКонтакте» [Электронный ресурс]. —2014. — URL:

https://cyberleninka.ru/article/n/razrabotka-rekomendatelnoy-sistemy-na-osnove-d annyh-iz-profilya-sotsialnoy-seti-vkontakte (дата обращения 16.04.2022).

6)                Математическая   модель   задачи   top-N   для    контентных рекомендательных  систем   [Электронный  ресурс].  —2015.  —   URL: https://cyberleninka.ru/article/n/matematicheskaya-model-zadachi-top-n-dlya-kont entnyh-rekomendatelnyh-sistem/viewer (дата обращения 16.04.2022).

7)                Исследование тематических профилей и способов расчета вовлеченности аудитории в сообществах социальной сети «ВКонтакте» [Электронный ресурс].    —2018.         —               URL:

https://cyberleninka.ru/article/n/issledovanie-tematicheskih-profiley-i-sposobov-ras cheta-vovlechennosti-auditorii-v-soobschestvah-sotsialnoy-seti-vkontakte (дата обращения 24.04.2022).

8)                ВКонтакте подвела итоги первого квартала 2022 года [Электронный ресурс]. – 2022. – URL: https://vk.com/press/q1-2022-results (дата обращения 22.05.2022).

9)                7 сервисов для аналитики конкурентов во ВКонтакте [Электронный                  ресурс].   –                       2018.      –                   URL: https://vk.com/@smm_integral-7-servisov-dlya-analitiki-konkurentov-vo-vkontakt     e (дата обращения 22.05.2022).

10)           Алгоритм ТГУ выявляет пользователей VK, подписанных на опасные                     группы     [Электронный    ресурс].    –     2020.     –     URL: https://www.tsu.ru/news/algoritm-tgu-vyyavlyaet-polzovateley-vk-podpisanny/ (дата обращения 19.12.2021).

11)           Онтологии и персонификация профиля пользователя в рекомендующих системах третьего поколения [Электронный ресурс]. —2019.

—                                                                                                                                                                                                                                                                                         URL:

https://cyberleninka.ru/article/n/ontologii-i-personifikatsiya-profilya-polzovatelya- v-rekomenduyuschih-sistemah-tretiego-pokoleniya/viewer (дата обращения 22.04.2022).

12)           Рекомендательные системы: обзор основных постановок и результатов                  [Электронный                                     ресурс].                  —2017.

—URL:http://www.mathnet.ru/links/3c5f7d317158b7954732b06e6fbe78ce/ista26. pdf (дата обращения 15.05.2022).

13)           Анатомия рекомендательных систем. Часть первая [Электронный ресурс]. —2018. — URL: https://habr.com/ru/company/lanit/blog/420499/ (дата обращения 15.05.2022).

14)           Обзор рекомендательных систем [Электронный ресурс]. —2019.

—         URL:  https://elibrary.ru/download/elibrary_38048601_46755807.pdf (дата обращения 16.05.2022).

15)           Рекомендательные системы: обзор основных постановок и результатов                  [Электронный                                     ресурс].                  —2017.

—URL:http://www.mathnet.ru/links/3c5f7d317158b7954732b06e6fbe78ce/ista26. pdf (дата обращения 15.05.2022).

16)           Géron, A. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow - Текст : непосредственный // Concepts, Tools, and Techniques to Build Intelligent Systems. - 2017.

17)           Müller, A. C., & Guido, S. Introduction to Machine Learning with Python: A Guide for Data Scientists. - Текст : непосредственный // Fundamental concepts and applications of machine learning. - 2017.

18)           Hastie, T. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. / Tibshirani, R., & Friedman, J. [и др.]. - Текст : непосредственный // Springer. - 2009.

19)           Shmueli, G. To Explain or to Predict? - Текст : непосредственный // Statistical Science. - 2010. C. 289-310.

20)           Goodfellow, I. Deep Learning. / Bengio, Y., Courville, A. [и др.]. - Текст : непосредственный // MIT Press. - 2016.

21)           Tfidfvectorizer, BERT, LASER: векторизация данных и кластерный анализ для улучшения рекомендательной системы [Электронный ресурс].

—2021.  —   URL:  https://habr.com/ru/companies/lanit/articles/594759/ (дата обращения 13.02.2023).

22)           Автоэнкодеры в Keras, Часть 1: Введение [Электронный ресурс].

—2017.   —   URL:   https://habr.com/ru/articles/331382/ (дата   обращения 1.05.2023).

23)           Балыклов Н.С. Кластерный анализ - Текст : непосредственный // Кластерный анализ. - 2017. C. 35-38.