ВКР Разработка и исследование системы автоматического упрощения текстов на японском языке
Оригинальность по АП.Вуз на 27 октября 2024 года более 72%.
После оплаты вы сможете скачать документ дипломом. Вы покупаете готовую работу в формате pdf.
Введение . 5
Глава 1. Обзор предметной области 7
1.1. Особенности обработки японского языка..7
1.1.1. Японская письменность 7
1.1.2. Упрощение лексики . 7
1.1.3. Морфология в японском 8
1.1.4. Японская грамматика 8
1.1.5. Упрощение грамматики.9
1.2. Раскрытие анафор в японском. 9
1.3. Существующие решения и наборы данных. 9
1.3.1. Модель Transformer..9
1.3.2. Улучшение упрощения увеличением корпуса с обучением без учителя 10
1.3.3. Упрощение новостей .10
1.3.4. JSSS корпус 10
1.3.5. Корпус SNOW T15 11
1.4. Где используют упрощение 11
1.4.1. Simple English Wikipedia. 11
1.4.2. NHK News Web Easy . 11
1.5. Текущее положение дел в системах упрощения текстов ....................... 12
1.6. Выводы по главе 1 ................................................................................... 12
Глава 2. Теоретический обзор........................................................................ 13
2.1. Этапы обработки естественного языка .................................................. 13
2.2. Искусственные нейронные сети .............................................................. 14
2.3. Какие модели используют для обработки естественных языков........... 15
2.4. О модели Transformer ............................................................................. 15
2.4.1. Где применяются Transformerы .......................................................... 15
2.4.2. Устройство Transformerа..................................................................... 16
2.4.3. Механизм внимания............................................................................. 16
2.4.4. MultiHead Attention .. 16
2.4.5. Positional Encoding 17
2.4.6. Обзор архитектуры Transformerа 17
2.4.7. Верхнеуровневый взгляд на Transformer 18
2.4.8. Как encoder учится понимать контекст 19
2.5. Выводы по главе 2 .. 19
Глава 3. Детали практической реализации.20
3.1. Инструменты и исходный код. 20
3.1.1. Выбор инструментов для системы упрощения .. 20
3.1.2. Объяснение выбранной архитектуры.. 20
3.1.3. Исходный код системы . 21
3.2. Как устроен Transformer изнутри . 21
3.2.1. Механизм внимания. 21
3.2.2. Маска в механизме внимания. 22
3.2.3. Positional Encoding 23
3.3. Устройство разработанной модели. 23
3.3.1. Обучение 23
3.3.2. Топология ИНС 24
3.3.3. Работа с корпусом . 24
3.3.4. Работа с японским языком... 25
3.4. Консольный интерфейс 25
3.5. Сервер . 26
3.5.1. Настройка сервера . 26
3.5.2. Как общаться с сервером 27
3.6. Пользовательское приложение . 27
3.7. Недостатки разработанной модели .. 28
3.8. Варианты модификации модели . 29
3.9. Выводы по главе 3 .30
Глава 4. Апробация разработанной модели и её модификаций .31
4.1. Метрики для оценки модели упрощения .31
4.2. Результаты..32
4.3. Гистограммы и доверительные интервалы ..32
4.4. Время работы модели .34
4.5. Примеры упрощения предложений изначальной и модифицированной
моделями ..34
4.6. Выводы по главе 4 .37
Заключение .38
