Разработка сервиса для выявления аномалий в поведении покупателей в ритейле

В современном мире розничная торговля играет ключевую роль в экономике, предоставляя потребителям широкий спектр товаров и услуг. С развитием технологий и увеличением объемов данных, собираемых в процессе торговли, возникает необходимость в эффективном анализе этой информации для оптимизации бизнес-процессов и улучшения качества обслуживания клиентов. Одним из ключевых аспектов этого анализа является выявление аномалий в поведении покупателей.

Аномалии в поведении покупателей могут быть признаком различных проблем, таких как мошенничество, ошибки в работе различных функций сервиса, недостаточная доступность товаров или неудовлетворенность клиентов обслуживанием. Поэтому разработка специализированного сервиса для выявления аномалий в данных розничной торговли становится важной задачей для компаний в данной сфере.

Целью нашей работы является разработка сервиса для анализа и обработки данных, с целью выявления аномалий в поведении покупателей в розничной торговле.

Для достижения цели были поставлены следующие задачи:

 Изучить существующие аналоги и технологии для выявления аномалий

 Подобрать методы для создания модуля для выявления аномалий

Реализовать модуль для выявления аномалий

На базе разработанного модуля реализовать сервис для выявления аномалий

Объектом исследования является процесс обнаружения аномалий на основе анализа данных розничной торговли.

Предметом исследования являются методы и инструменты обнаружения аномалий в данных.

Содержание                                                                                                2

Глоссарий                                                                                                   3

Введение                                                                                                     4

Глава 1. Обзор предметной области                                                       6

1.1    Обзор научных исследований                                                     6

1.2    Анализ существующих решений                                                 9

Глава 2. Обзор существующих методов анализа временных рядов 13

2.1    Методы машинного обучения                                                   13

2.1.1    Isolation Forest                                                                      13

2.1.2    Autoencoder                                                                          14

2.1.3    DBSCAN                                                                               16

2.2     Статистические методы                                                             18

2.2.1    Межквартильный размах                                                  18

2.2.2    Правило сигм                                                                       19

Глава 3. Программная реализация                                                      21

3.1    Архитектура решения                                                                22

3.2     Пользовательский сценарий                                                     23

3.3     Описание работы веб-сервиса                                                   28

Заключение                                                                                              33

Список литературы                                                                                35

Приложение А                                                                                         38

1.    Shaukat K. et al. A review of time-series anomaly detection techniques: A step to future perspectives //Advances in Information and Communication: Proceedings of the 2021 Future of Information and Communication Conference (FICC), Volume 1. - Springer International Publishing, 2021. -P. 865-877. (дата обращения 13.03.2024).

2.    Дуброва Т. А. Статистические методы прогнозирования. - 2003. (дата обращения 23.03.2024).

3.    Amazon Fraud Detector [Электронный ресурс]. //Amazon Fraud Detector. 2024. - URL: https://aws.amazon.com/ru/fraud-detector/ (дата обрашения: 30.04.2024).

4.    Microsoft Anomaly Detector Documentation [Электронный ресурс]. // Microsoft Learn. 2023.                                                                -                          URL:

https://learn.microsoft.com/en-us/azure/ai-services/anomaly-detector/ (дата обрашения: 28.02.2024).

5.    Splunk Enterprise Security [Электронный ресурс]. // Splunk. 2024. - URL: https://www.splunk.com/en_us/resources/splunk-enterprise-security.html (дата обращения: 19.05.2024).

6.    Sklearn Documentation [Электронный ресурс]. // scikit-learn. 2024. - URL: https://scikit-learn.org/ (дата обращения 18.03.2024).

7.    Tensorflow Documentation [Электронный ресурс], // TensorFlow. 2024. - URL: https://www.tensorflow.org/api_docs (дата обращения 29.05.2024).

8.    Pandas Documentation [Электронный ресурс]. // Pandas. 2024. - URL: https://pandas.pydata.org/ (дата обращения 08.03.2024).

9.    Numpy Documentation [Электронный ресурс]. // Numpy: The fundamental package for scientific computing with Python. 2023. - URL: https://numpy.org/doc/stable/ (дата обращения 14.04.2024)

10.   Matplotlib Documentation [Электронный ресурс]. // Matplotlib: Visualization with Python. 2023. URL: https://matplotlib.org/stable/index.html (дата обращения 10.03.2024)

11.   Seaborn Documentation [Электронный ресурс]. // seaborn. 2024. - URL: https://seaborn.pydata.org/api.html (дата обращения 20.05.2024).

12.   Streamlit Documentation [Электронный ресурс]. // Streamlit 2024. - URL: https://docs.streamlit.io/ (дата обращения 3.05.2024).

13.   Apache Airflow Documentation [Электронный ресурс]. // Apache Airflow. 2024. - URL: https://airflow.apache.org/docs/ (дата обращения 09.05.2024).

14.   ClickHouse Documentation [Электронный ресурс]. // ClickHouse. 2024. - URL: https://clickhouse.com/docs/ru (дата обращения 15.05.2024).

15.   Python Telegram Bot Documentation [Электронный ресурс]. // python-telegram-bot. 2024.                                        -                         URL:

https://docs.python-telegram-bot.org/en/v21.1.1/  (дата обращения

15.05.2024).

16.   Python Documentation [Электронный ресурс]. // Python. 2022. - URL: https://www.python.org/ (дата обращения 06.03.2024).

17.   Yandex Cloud Documentation [Электронный ресурс]. // Yandex Cloud.

2024. - URL: https://yandex.doud/ru/docs (дата обращения 23.05.2024).