Приложение для распознавания и интерпретации жестовых коммуникаций и их перевод в текстовую форму
В современном информационном мире на фоне стремительного развития технологий и цифровизации вопросы эффективной коммуникации становятся все более актуальными.
Одним из ключевых аспектов обеспечения доступности коммуникации является жестовый язык. Для многих людей с нарушениями слуха и другими коммуникативными ограничениями жесты становятся основным средством выражения мыслей и общения.
Целью данного исследования является разработка приложения, способного автоматически распознавать жестовые коммуникации и преобразовывать их в текстовую форму. Это приложение может стать эффективным инструментом для повышения доступности коммуникации для людей с нарушениями слуха.
Для достижения поставленной цели были сформированы следующие задачи:
1) изучение уже существующих методов распознавания жестовой коммуникации,
2) сбор данных и их подготовка для обучения модели,
3) разработка алгоритмов и моделей,
4) программная реализация,
тестирование и оценка полученных результатов.
ВВЕДЕНИЕ ................................................................................................... 3
1. Анализ предметной области .................................................................... 4
2. Описание задачи обнаружения и........................................ распознавания 7
3. Описание сверточных нейронных сетей .................................................. 8
4. Подготовка данных ................................................................................ 12
5. Разработка программы ......................................................................... 15
5.1. Модель сверточной нейронной сети .................................................. 15
5.2. Разработка модели .............................................................................. 16
5.3. Тестирование модели .......................................................................... 23
5.4. Создание интерфейса .......................................................................... 27
ЗАКЛЮЧЕНИЕ ........................................................................................... 30
СПИСОК ЛИТЕРАТУРЫ .......................................................................... 35
ПРИЛОЖЕНИЕ .......................................................................................... 37
1) Cyberleninka: [сайт]. - URL:
https://cyberleninka.ru/article/n/zhestovye-yazyki-kak-polnotsennoe-sredstvo- kommunikatsii (дата обращения: 20.03.2024).
2) Большая российская энциклопедия 2004-2017: [сайт]. - URL: https://old.bigenc.ru/education/text/2627873 (дата обращения: 20.03.2024).
3) Sign language families: [сайт]. - URL:
https://commons.wikimedia.org/wiki/File:Sign_language_families.svg (дата
обращения: 21.03.2024).
4) Наглядно о том, как работает свёрточная нейронная сеть: [сайт]. - URL: https://habr.com/ru/companies/skillfactory/articles/565232/ (дата
обращения: 24.03.2024).
5) Mdpi: [сайт]. - URL: https://www.mdpi.com/2076-3417/10/3/1142
(дата обращения: 28.03.2024).
6) Mdpi: [сайт]. - URL: https://www.mdpi.com/2313-433X/6/11/121
(дата обращения: 28.03.2024).
7) Mdpi: [сайт]. - URL: https://www.mdpi.com/2076-3417/13/13/7967 (дата обращения: 28.03.2024).
8) Bo Liu. A Novel Encoding-based MAC Design for Efficient Neural Network Acceleration/ Bo Liu, Grace Li Zhang, Xunzhao Yin, Ulf Schlichtmann, Bing Li - Текст: электронный - URL: https://arxiv.org/pdf/2402.18595 (дата обращения: 28.03.2024).
9) Convolutional Neural Networks (CNN): Softmax & Cross-Entropy [сайт]. - 2018. - URL: https://www.superdatascience.com/blogs/convolutional- neural-networks-cnn-softmax-crossentropy / (дата обращения 29.03.2024).
10) Реализуем и сравниваем оптимизаторы моделей в глубоком обучении [сайт]. - 2020. - URL:
https://habr.com/ru/companies/skillfactory/articles/525214/ (дата обращения 29.03.2024).
11) Шпаргалка по OpenCV — Python [сайт]. - 2019. - URL:
https://tproger.ru/translations/opencv-python-guide/ (дата обращения 01.04.2024).
