Классификация халяльных компонентов в продуктах питания методами машинного обучения

В неисламских странах мусульманам бывает сложно определить какое блюдо (пищевые продукты питания) в ресторанах, кафе и магазинах является халяльной, а какое нет, особенно если в заведении нет халяльного сертификата. Определение состава блюда (продукта питания) и его статуса (халяльное или не халяльное), а также просмотр изображения блюда является важным, поскольку не все меню включают название блюда, фото, состав и его статус.

Актуальность работы заключается в решении трудностей, с которыми сталкиваются мусульмане в неисламских странах при попытке соблюдать пищевые ограничения. Проблема актуальна, так как затрагивает повседневную жизнь миллионов мусульман по всему миру, обеспечивая их диетический выбор в соответствии с религиозными убеждениями. Улучшение доступа к информации о халяльной еде способствует повышению уверенности потребителей и их удобства.

Цель данной работы заключается — разработка веб-приложения CHECK IT HALAL для определения халяльного статуса пищевых продуктов (включая блюда и продукты питания). Приложение использует технологии машинного обучения (NLP с T5-base и Entity Matching с Softmax Regression) для повышения точности поиска.

Основная цель работы — разработать и протестировать веб-приложение, которое точно определяет халяльный статус пищевых продуктов с использованием передовых технологий машинного обучения и интеграции с API Pixels для динамического отображения изображений, улучшая пользовательский опыт.

Задачи работы:

Сбор и подготовка датасетов для обучения моделей, включая текстовую информацию о различных пищевых продуктах и их халяльный статус.

Разработка модели с использованием Softmax Regression для бинарной классификации текстовых описаний продуктов как еда или не еда.

Разработка модели с использованием трансформера T5-base для классификации халяльного статуса пищевых продуктов на основе их ингредиентов.

Проектирование и реализация веб-приложения с интеграцией разработанных моделей, обеспечивающего удобный интерфейс для проверки халяльного статуса и динамического отображения изображений.

Содержание.................................................................................................... 2

Введение.......................................................................................................... 3

1. Теоретическая часть................................................................................ 5

1.1. Обзор предметной области................................................................ 5

1.2. Алгоритмы обработки и классификации данных............................. 7

1.2.1. T5 -base моделей......................................................................... 7

1.2.2. Основные компоненты модели T5.............................................. 7

1.2.3. Softmax Regression...................................................................... 8

1.2.4. Как работает Softmax Regression............................................... 8

1.2.5. Математическая формула........................................................... 9

1.2.6. Функция потерь........................................................................... 9

1.2.7. Преимущества использования.................................................... 9

1.2.8. Обработка естественного языка (NLP) классификации........... 10

1.3. Преимущества трансформерных моделей...................................... 11

1.4. Методы обработки и классификации данных................................. 12

1.5. Регрессия Softmax в многоклассовой классификации.................... 13

1.6. Сбор данных и создание датасетов................................................. 13

1.7. Технологии и архитектура программных решений....................... 14

2. Практическая часть............................................................................... 16

2.1. Сбор данных и создание датасета................................................... 16

2.1.1. Подготовка данных.................................................................. 16

2.1.2. Аугментация данны.................................................................. 16

2.1.3. Собранные данные................................................................... 17

2.2. Разработка модели валидации и классификации............................ 19

2.2.1. Модель валидации.................................................................... 19

2.2.2. Модель классификации............................................................ 22

2.2.3. Извлечение компонентов.......................................................... 26

2.2.4. Классификация статуса............................................................. 26

2.3. Архитектура программного решения............................................. 26

2.3.1. Диаграмма действий классификации блюда на халяльность. 26

2.3.2. Диаграмма последовательности веб-приложения................... 29

3. Разработка веб-приложений и серверов............................................. 31

Заключение.................................................................................................. 37

Глоссарий..................................................................................................... 38

Список источников..................................................................................... 40

4. Приложения............................................................................................ 42

1 . Scanhalal [Электронный ресурс]// scanhalal.com URL: https://www.scanhalal.com/ (Дата обращения: 10.11.2023).

2 . Verifyhalal [Электронный ресурс]// verifyhalal.com URL: https://www.scanhalal.com/ (Дата обращения: 10.11.2023).

3 . Ecodehalalcheck [Электронный ресурс]// ecodehalalcheck.com URL: https://www.scanhalal.com/ (Дата обращения: 11.11.2023).

4 . Qiurui, C. T5: a detailed explanation [Электронный ресурс]// 06 .08. 2020 URL: medium (Дата обращения: 20.11.2023).

5 . Researchgate [Электронный ресурс]// researchgate.net URL: researchgate (Дата обращения: 01.12.2023).

6 . Towardsdatascience [Электронный ресурс]// towardsdatascience.com URL: towardsdatascience (Дата обращения: 5.12.2023).

7 . Kristina. S, James. K, Tess H, and Sarah. M. Machine Learning, Deep Learning: Logistic Regression [Электронный ресурс]// 06. 25. 2022 URL: www.cs.rice.edu/ (Дата обращения: 5.12.2023).

8 . Towardsnlp [Электронный ресурс]// towardsnlp.com URL: towardsnlp (Дата обращения: 21.12.2023).

9 . Huggingface [Электронный ресурс]// huggingface.com URL: huggingface (Дата обращения: 27.12.2023).

10 .Mohmmad. S. A. Building High Performance APIs in Python using FASTAPI [Электронный ресурс]// 08. 28. 2023 URL: cloudthat (Дата обращения: 15.01.2024).

11 .Fastapi [Электронный ресурс]// fastapi.tiangolo.com URL: fastapi (Дата обращения: 15.01.2024).

12 .Laravel [Электронный ресурс]// laravel.com URL: laravel (Дата обращения: 17.01.2024).

13 .Codeburst [Электронный ресурс]// codeburst.io URL: codeburst (Дата обращения: 17.01.2024).

14 .Legacy.reactjs [Электронный ресурс]// legacy.reactjs.com URL:

legacy.reactjs (Дата обращения: 17.01.2024).

15 .Datasetsearch [Электронный ресурс]// datasetsearch.research.com URL: datasetsearch.research (Дата обращения: 10.10.2023).