РАЗРАБОТКА ПРИЛОЖЕНИЯ ДЛЯ АНАЛИЗА ЭМОЦИОНАЛЬНОГО ТОНА ТЕКСТОВЫХ КОММЕНТАРИЕВ

Работа загружена в текстовом формате PDF (работа легко редактируется, форматируется, конвертируется в word).

Данная работа посвящена разработке приложения для анализа эмоционального тона текстовых комментариев. В исследовании используются современные методы обработки естественного языка (NLP) и глубокие нейронные сети (DNN) для автоматизации анализа пользовательских отзывов на платформе YouTube.

В ходе проекта решались следующие задачи:

1. Подготовка данных.

2. Проектирование нейросетевой модели.

3. Обучение модели.

4. Интеграция с пользовательским интерфейсом:

5. Статистика и визуализация.

В результате работы было создано веб-приложение, которое автоматически анализирует эмоциональный тон комментариев, предоставляя быстрые и точные выводы.

Данный проект призван помочь пользователям более глубоко понимать эмоциональные реакции на контент платформы YouTube.

СОДЕРЖАНИЕ

ВВЕДЕНИЕ.................................................................................................................. 8

1. ОБЗОР ЛИТЕРАТУРЫ.......................................................................................... 11

1.1. Обзор существующих решений................................................................... 11

1.2. Обзор методов обработки естественного языка (NLP)..............................12

1.3. Техники естественной обработки языка..................................................... 13

1.3.1. Токенизация........................................................................................... 13

1.3.2. Приведение к нижнему регистру и удаление знаков препинания....14

1.3.3. Удаление стоп-слов............................................................................... 14

1.3.4. Удаление ссылок и HTML тегов.......................................................... 14

1.4. Глубокое обучение для задач NLP............................................................... 14

1.4.1. Простые нейронные сети......................................................................15

1.4.2. Рекуррентные нейронные сети............................................................ 16

1.4.3. Свёрточные нейронные сети................................................................ 18

2. ПОДХОД К РАЗРАБОТКЕ.................................................................................... 21

2.1. Обоснование выбора технологий и средств разработки........................... 21

2.2. Обоснование архитектурных решений....................................................... 22

2.3. Выбор датасета для обучения...................................................................... 23

2.4. Предварительная обработка данных........................................................... 24

2.4.1. Увеличение сбалансированности.........................................................24

2.4.2. Приведение к нижнему регистру и удаление знаков препинания....26

2.4.3. Токенизация........................................................................................... 26

2.4.4. Создание последовательностей........................................................... 26

2.5. Построение и обучение нейросетей............................................................ 27

2.5.1. Архитектуры нейросетей......................................................................27

2.5.2. Обучение моделей................................................................................. 28

2.6. Оценка и выбор модели................................................................................ 29

2.6.1. Метрики оценивания.............................................................................29

2.6.2. Выбор наилучшей модели.................................................................... 30

3. РЕАЛИЗАЦИЯ.......................................................................................................31

3.1. Реализация серверной части приложения...................................................31

3.1.1. YouTube Data API.................................................................................. 31

3.1.2. Использование модели нейросети....................................................... 35

3.1.3. Маршрутизация..................................................................................... 36

3.2. Реализация клиентской части приложения.................................................37

4. РЕЗУЛЬТАТЫ.........................................................................................................42

ЗАКЛЮЧЕНИЕ..........................................................................................................46

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ.................................................47

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Comment analyzer - URL: https:/

3. YouTube Comments Analyzer - URL: https:/

4. Diksha Khurana, Aditya Koli, Kiran Khatter, and Sukhdev Singh, - Natural Language Processing: State of The Art, Current Trends and Challenges (2022, Multimedia Tools and Applications)

5. Roman Egger, Enes Gokce - Natural Language Processing (NLP):An Introduction: Making Sense of Textual Data (2022, Applied Data Science in Tourism)

всего 19 источников