Приложение для распознавания и интерпретации жестовых коммуникаций и их перевод в текстовую форму

В современном информационном мире на фоне стремительного развития технологий и цифровизации вопросы эффективной коммуникации становятся все более актуальными.

Одним из ключевых аспектов обеспечения доступности коммуникации является жестовый язык. Для многих людей с нарушениями слуха и другими коммуникативными ограничениями жесты становятся основным средством выражения мыслей и общения.

Целью данного исследования является разработка приложения, способного автоматически распознавать жестовые коммуникации и преобразовывать их в текстовую форму. Это приложение может стать эффективным инструментом для повышения доступности коммуникации для людей с нарушениями слуха.

Для достижения поставленной цели были сформированы следующие задачи:

1) изучение уже существующих методов распознавания жестовой коммуникации,

2) сбор данных и их подготовка для обучения модели,

3) разработка алгоритмов и моделей,

4) программная реализация,

тестирование и оценка полученных результатов.

ВВЕДЕНИЕ ................................................................................................... 3

1. Анализ предметной области .................................................................... 4

2. Описание задачи обнаружения и........................................ распознавания 7

3. Описание сверточных нейронных сетей .................................................. 8

4. Подготовка данных ................................................................................ 12

5. Разработка программы ......................................................................... 15

5.1. Модель сверточной нейронной сети .................................................. 15

5.2. Разработка модели .............................................................................. 16

5.3. Тестирование модели .......................................................................... 23

5.4. Создание интерфейса .......................................................................... 27

ЗАКЛЮЧЕНИЕ ........................................................................................... 30

СПИСОК ЛИТЕРАТУРЫ .......................................................................... 35

ПРИЛОЖЕНИЕ .......................................................................................... 37

1) Cyberleninka: [сайт]. - URL:

https://cyberleninka.ru/article/n/zhestovye-yazyki-kak-polnotsennoe-sredstvo- kommunikatsii (дата обращения: 20.03.2024).

2) Большая российская энциклопедия 2004-2017: [сайт]. - URL: https://old.bigenc.ru/education/text/2627873 (дата обращения: 20.03.2024).

3) Sign language families: [сайт]. - URL:

https://commons.wikimedia.org/wiki/File:Sign_language_families.svg (дата

обращения: 21.03.2024).

4) Наглядно о том, как работает свёрточная нейронная сеть: [сайт]. - URL: https://habr.com/ru/companies/skillfactory/articles/565232/ (дата

обращения: 24.03.2024).

5) Mdpi: [сайт]. - URL: https://www.mdpi.com/2076-3417/10/3/1142

(дата обращения: 28.03.2024).

6) Mdpi: [сайт]. - URL: https://www.mdpi.com/2313-433X/6/11/121

(дата обращения: 28.03.2024).

7) Mdpi: [сайт]. - URL: https://www.mdpi.com/2076-3417/13/13/7967 (дата обращения: 28.03.2024).

8) Bo Liu. A Novel Encoding-based MAC Design for Efficient Neural Network Acceleration/ Bo Liu, Grace Li Zhang, Xunzhao Yin, Ulf Schlichtmann, Bing Li - Текст: электронный - URL: https://arxiv.org/pdf/2402.18595 (дата обращения: 28.03.2024).

9) Convolutional Neural Networks (CNN): Softmax & Cross-Entropy [сайт]. - 2018. - URL: https://www.superdatascience.com/blogs/convolutional- neural-networks-cnn-softmax-crossentropy / (дата обращения 29.03.2024).

10) Реализуем и сравниваем оптимизаторы моделей в глубоком обучении [сайт]. - 2020. - URL:

https://habr.com/ru/companies/skillfactory/articles/525214/ (дата обращения 29.03.2024).

11) Шпаргалка по OpenCV — Python [сайт]. - 2019. - URL:

https://tproger.ru/translations/opencv-python-guide/ (дата обращения 01.04.2024).