Разработка рекомендательной системы на основе анализа данных социальных сетей

Основной    целью    магистерской    работы   является    разработка рекомендательной              системы,     которая,        обрабатывая    данные                              из               страницы

пользователя в социальной сети, могла бы с высокой точностью выделять основные предпочтения и давать рекомендации. Идея такой системы заключается в подборе персонализированного списка товаров, которые можно было бы подарить анализируемому пользователю и которые бы отвечали его вкусам и потребностям.

Разработка такой рекомендательной системы требует решения ряда задач. На первом этапе основной акцент построения рекомендательной системы был сделан на исследованиях технологий извлечения, обработки и анализа данных в социальных сетях, а также алгоритмов построения рекомендаций.

Второй этап был посвящен разработке модулей сбора и обработки данных из интернет источников, а также сбору базы данных пользователей и их желаний.

На третьем этапе написания работы были решены задачи разбиения желаний пользователей (большинство из которых являются уникальными) на категории, а самих пользователей – на группы.

На четвертом этапе был разработан модуль рекомендаций, включающий в себя сбор и обработку информации о новом пользователе, а также построение рекомендаций с использованием алгоритма групповых рекомендаций.

Введение............................................................................................................... 2

1. Литературный обзор....................................................................................... 3

1.1 Обогащение данных пользователей. Методы веб-скреппинга для получения данных из социальных сетей............................................................................... 3

1.1.1 Получение веб-страниц с использованием библиотеки urllib.................... 5

1.1.2 Разбор HTML и извлечение информации из веб-страниц (Web scraping) 6

1.1.3 Разбор HTML-страниц с помощью регулярных выражений.................... 7

1.1.4 Разбор HTML-страниц с помощью библиотеки BeautifulSoup................. 9

1.2 Методы data mining для анализа данных в социальных сетях.................. 11

2.1 Общие сведения о СУБД MongoDB............................................................ 22

2.2 Алгоритм сбора данных и написание скрэппера с помощью BeautifulSoup . 23 3.     Разработка рекомендательной системы...................................................... 31

3.1 Постановка задачи и обзор проблематики................................................. 31

3.2 Описание разработанного модуля.............................................................. 33

4.      Построение модуля рекомендательной системы........................................ 38

4.1 Выбор метода построения рекомендательной системы............................. 39

4.2 Реализация модуля рекомендаций.............................................................. 40

I.      Специальная литература:

1.       Горчинская, Ольга. Анализ данных социальных сетей,Открытые системы. СУБД [Электронный ресурс] / Горчинская, Ольга, Ривкин, Андрей.

– науч.-метод. журн. – 2015.— № 03. – Режим доступа www.osp.ru. – (Дата обращения: 01.11.2017).

2.       Кириченко К.М. Обзор методов кластеризации текстовой информации [Электронный ресурс]/ Кириченко К.М, Герасимов М.Б. - электрон. текст. дан. - Режим доступа http://www.dialog- 21.ru/digest/2001/articles/kirichenko/. - (Дата обращения: 01.10.2018)

3.       Коршунов, Антон. Анализ социальных сетей: методы и приложения

/ Антон Коршунов, Иван Белобородов, Назар Бузун, Валерий Аванесов, Роман Пастухов, КириллЧихрадзе[и др.]. - электрон. текст. дан. - Режим доступа http://www.ispras.ru/proceedings/docs/2014/26/1/isp_26_2014_1_439.pdf. - (Дата обращения: 10.10.2017)

4.       Коршунов, Антон.Определение демографических атрибутов пользователей микроблогов / Антон Коршунов, Иван Белобородов, Андрей Гомзин, Кристина Чуприна [и др.]. - электрон. текст. дан. - Режим доступа

https://cyberleninka.ru/article/v/opredelenie-demograficheskih-atributov- polzovateley-mikroblogov. - (Дата обращения: 10.10.2017)

II.      Интернет-ресурсы:

1.     Северенс, Чарльз. Лекция «Введение в программирование на Python», Интуит , национальный открытый университет / Чарльз Северенс. - электрон.                  текст. дан.                -                  Режим   доступа https://www.intuit.ru/studies/courses/12179/1172/lecture/23887?page=4 – (Дата обращения 21.02.2018)

2.      Чубукова, Ирина. Курс «Datamining», Интуит, национальный открытый университет/ Ирина Чубукова. - электрон. текст. дан. - Режим доступа https://www.intuit.ru/studies/courses/6/6/lecture/162?page=2– (Дата обращения 25.03.2018)

3.  Обзор алгоритмов кластеризации данных / andreycha / - электрон. текст. дан. - Режим доступа https://habr.com/ru/post/101338/ – (Дата обращения 16.11.2018)

4.     Документация scikit-learn // - электрон. текст. дан. - Режим доступаhttps://scikit-learn.org/stable/ – (Дата обращения 03.12.2018)

5.  Кантор, Виктор. Кластеризация текстов по теме / Виктор Кантор, Евгений  Рябенко, Евгений  Соколов, EmeliDral, Константин Воронцов /- электрон.                   текст.                    дан.                    -                    Режим доступаhttps://www.coursera.org/lecture/unsupervised-learning/primier- klastierizatsiia-tiekstov-po-tiemie-bVVzw – (Дата обращения 15.11.2018)

6.  Рекомендательная система: введение в проблему холодного старта

/ vleskin /          -          электрон.         текст.          дан.          -          Режим доступаhttps://habr.com/ru/company/surfingbird/blog/168733/ – (Дата обращения 16.11.2018)

7.  WebScraping с помощью python/ miptgirl / - электрон. текст. дан. - Режим доступа https://habr.com/ru/post/280238/ – (Дата обращения 16.11.2018)

8.       Документация  NLTK  //  -  электрон.  текст.  дан.  -  Режим доступаhttps://www.nltk.org/ – (Дата обращения 03.12.2018)