Классификация халяльных компонентов в продуктах питания методами машинного обучения

В неисламских странах мусульманам бывает сложно определить какое блюдо (пищевые продукты питания) в ресторанах, кафе и магазинах является халяльной, а какое нет, особенно если в заведении нет халяльного сертификата. Определение состава блюда (продукта питания) и его статуса (халяльное или не халяльное), а также просмотр изображения блюда является важным, поскольку не все меню включают название блюда, фото, состав и его статус.

Актуальность работы заключается в решении трудностей, с которыми сталкиваются мусульмане в неисламских странах при попытке соблюдать пищевые ограничения. Проблема актуальна, так как затрагивает повседневную жизнь миллионов мусульман по всему миру, обеспечивая их диетический выбор в соответствии с религиозными убеждениями. Улучшение доступа к информации о халяльной еде способствует повышению уверенности потребителей и их удобства.

Цель данной работы заключается — разработка веб-приложения CHECK IT HALAL для определения халяльного статуса пищевых продуктов (включая блюда и продукты питания). Приложение использует технологии машинного обучения (NLP с T5-base и Entity Matching с Softmax Regression) для повышения точности поиска.

Основная цель работы — разработать и протестировать веб-приложение, которое точно определяет халяльный статус пищевых продуктов с использованием передовых технологий машинного обучения и интеграции с API Pixels для динамического отображения изображений, улучшая пользовательский опыт.

Задачи работы:

Сбор и подготовка датасетов для обучения моделей, включая текстовую информацию о различных пищевых продуктах и их халяльный статус.

Разработка модели с использованием Softmax Regression для бинарной классификации текстовых описаний продуктов как еда или не еда.

Разработка модели с использованием трансформера T5-base для классификации халяльного статуса пищевых продуктов на основе их ингредиентов.

Проектирование и реализация веб-приложения с интеграцией разработанных моделей, обеспечивающего удобный интерфейс для проверки халяльного статуса и динамического отображения изображений.

Содержание.................................................................................................... 2

Введение.......................................................................................................... 3

1.    Теоретическая часть................................................................................ 5

1.1.   Обзор предметной области................................................................ 5

1.2.   Алгоритмы обработки и классификации данных............................. 7

1.2.1.   T5 -base моделей......................................................................... 7

1.2.2.   Основные компоненты модели T5.............................................. 7

1.2.3.   Softmax Regression...................................................................... 8

1.2.4.   Как работает Softmax Regression............................................... 8

1.2.5.   Математическая формула........................................................... 9

1.2.6.   Функция потерь........................................................................... 9

1.2.7.   Преимущества использования.................................................... 9

1.2.8.   Обработка естественного языка (NLP) классификации........... 10

1.3.   Преимущества трансформерных моделей...................................... 11

1.4.   Методы обработки и классификации данных................................. 12

1.5.   Регрессия Softmax в многоклассовой классификации.................... 13

1.6.   Сбор данных и создание датасетов................................................. 13

1.7.   Технологии и архитектура программных решений....................... 14

2.     Практическая часть............................................................................... 16

2.1.    Сбор данных и создание датасета................................................... 16

2.1.1.    Подготовка данных.................................................................. 16

2.1.2.    Аугментация данны.................................................................. 16

2.1.3.    Собранные данные................................................................... 17

2.2.    Разработка модели валидации и классификации............................ 19

2.2.1.    Модель валидации.................................................................... 19

2.2.2.    Модель классификации............................................................ 22

2.2.3.    Извлечение компонентов.......................................................... 26

2.2.4.    Классификация статуса............................................................. 26

2.3.    Архитектура программного решения............................................. 26

2.3.1.    Диаграмма действий классификации блюда на халяльность. 26

2.3.2.    Диаграмма последовательности веб-приложения................... 29

3.     Разработка веб-приложений и серверов............................................. 31

Заключение.................................................................................................. 37

Глоссарий..................................................................................................... 38

Список источников..................................................................................... 40

4.     Приложения............................................................................................ 42

1   . Scanhalal [Электронный ресурс]// scanhalal.com URL: https://www.scanhalal.com/ (Дата обращения: 10.11.2023).

2     . Verifyhalal [Электронный ресурс]// verifyhalal.com URL: https://www.scanhalal.com/ (Дата обращения: 10.11.2023).

3    . Ecodehalalcheck [Электронный ресурс]// ecodehalalcheck.com URL: https://www.scanhalal.com/ (Дата обращения: 11.11.2023).

4     . Qiurui, C. T5: a detailed explanation [Электронный ресурс]// 06 .08. 2020 URL: medium (Дата обращения: 20.11.2023).

5    . Researchgate [Электронный ресурс]// researchgate.net URL: researchgate (Дата обращения: 01.12.2023).

6     . Towardsdatascience [Электронный ресурс]// towardsdatascience.com URL: towardsdatascience (Дата обращения: 5.12.2023).

7     . Kristina. S, James. K, Tess H, and Sarah. M. Machine Learning, Deep Learning: Logistic Regression [Электронный ресурс]// 06. 25. 2022 URL: www.cs.rice.edu/ (Дата обращения: 5.12.2023).

8     . Towardsnlp [Электронный ресурс]// towardsnlp.com URL: towardsnlp (Дата обращения: 21.12.2023).

9     . Huggingface [Электронный ресурс]// huggingface.com URL: huggingface (Дата обращения: 27.12.2023).

10 .Mohmmad. S. A. Building High Performance APIs in Python using FASTAPI [Электронный ресурс]// 08. 28. 2023 URL: cloudthat (Дата обращения: 15.01.2024).

11 .Fastapi [Электронный ресурс]// fastapi.tiangolo.com URL: fastapi (Дата обращения: 15.01.2024).

12 .Laravel [Электронный ресурс]// laravel.com URL: laravel (Дата обращения: 17.01.2024).

13 .Codeburst [Электронный ресурс]// codeburst.io URL: codeburst (Дата обращения: 17.01.2024).

14    .Legacy.reactjs [Электронный ресурс]// legacy.reactjs.com URL:

legacy.reactjs (Дата обращения: 17.01.2024).

15 .Datasetsearch [Электронный ресурс]// datasetsearch.research.com URL: datasetsearch.research (Дата обращения: 10.10.2023).