Разработка мобильного приложения для распознавания текста с помощью сверточно-рекуррентной нейронной сети

Целью работы является исследование применимости сверточно­рекуррентной нейронной сети для создания мобильного приложения для распознавания текста с изображения.

Для достижения поставленной цели необходимо решить следующие задачи

1. Провести анализ теоретических материалов связанных с сверточными и рекуррентными нейронными сетями

2. Подготовить необходимый датасет

3. Решить задачу сегментации русскоязычного рукописного текста с изображения

4. Решить задачу распознавания русскоязычного рукописного текста с изображения

5. Провести эксперименты

6. Разработать Web-API сервис

7. Спроектировать базу данных для хранения информации

8. Разработать мобильное приложения с применением библиотеки Flutter

9. Реализовать использование библиотеки для распознавания англоязычного текста

10. Протестировать приложение на устройствах с операционными системами iOS и Android.

Результатом магистерской диссертации является мобильное приложение для распознавания текста с изображения.

ВВЕДЕНИЕ ......................................................................................... 3

ПОСТАНОВКА ЗАДАЧИ .................................................................. 4

1. ТЕОРЕТИЧЕСКАЯ ЧАСТЬ............................................................ 5

1.1. Основные термины нейронной сети ........................................ 5

1.2. Фреймворк Flutter .................................................................... 8

1.3. Сегментация текста .................................................................. 9

1.4. Распознавание текста ............................................................. 11

2. ПРОЕКТИРОВАНИЕ ПРИЛОЖЕНИЯ ...................................... 13

2.1. Настройка и проектирование базы данных.......................... 13

2.2. Проектирование карты экранов ........................................... 16

3. СЕГМЕНТАЦИЯ ТЕКСТА ......................................................... 17

3.1. Программная реализация сегментации текста ..................... 17

4. РАСПОЗНАВАНИЕ ТЕКСТА..................................................... 22

4.1. Программная реализация распознавания текста ................. 22

5. РАЗРАБОТКА МОБИЛЬНОГО ПРИЛОЖЕНИЯ ...................... 28

5.1. Регистрация и авторизация пользователя............................. 28

5.2. Распознавание текста ............................................................. 30

5.3. История запросов................................................................... 34

5.4. Настройки............................................................................... 36

ЗАКЛЮЧЕНИЕ.................................................................................. 37

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ ......................... 38

ПРИЛОЖЕНИЕ ................................................................................. 39

1. Основы ИНС - Нейронные сети [Электронный ресурс]. - Режим доступа: https://neural.radkopeter.ru/chapter/основы-инс/ (дата обращения: 15.03.2024)

2. Activation functions used in artificial neural networks (github.com) [Электронный ресурс]. - Режим доступа:

https://github.com/siebenrock/activation-functions (дата обращения: 17.03.2024)

3. Flutter Documentation [Электронный ресурс]. - Режим доступа:

https://docs.flutter.dev/ (дата обращения: 02.04.2024)

4. Введение в Flutter [Электронный ресурс]. - Режим доступа:

https://metanit.com/dart/flutter/1.1.php (дата обращения: 03.04.2024)

5. Firebase Documentation [Электронный ресурс]. - Режим доступа: https://firebase.google.com/docs (дата обращения: 06.04.2024)

6. Baoguang Shi, Xiang Bai, Cong Yao.: An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition. URL: https://arxiv.org/pdf/1507.05717.pdf (дата обращения: 24.02.2024)

7. Kaiming He, Xiangyu Zhang, Shaoqing, Ren Jian Sun.: Deep Residual Learning for Image Recognition. URL: https://arxiv.org/pdf/1512.03385 (дата обращения: 13.03.2024)

8. Hakan Inan, Rashi Rungta, Yashar Mehdad.: Structured Summarization: Unified Text Segmentation and Segment Labeling as a Generation Task. URL: https://arxiv.org/abs/2209.13759 (дата обращения: 27.01.2024)

9. Mingxing Tan, Quoc V. Le.: EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks. URL: https://arxiv.org/abs/1905.11946 (дата обращения: 27.02.2024)