Работа с уникальностью не менее 60%. Успешно защищена в 2020 году.
В работе рассматривается задача построения модели классификации переводов клиентов банка на легальные и мошеннические на основании двух наборов реальных наборов данных: исторических транзакций клиентов и их размеченных переводов.
Актуальность работы объясняется постоянным ростом числа мошеннических случаев с банковскими картами, ростом количества украденных с электронных счетов денег и прогнозами дальнейшего повышения количества таких случаев.
Новизна работы состоит в изучении ранее не исследованных наборов данных, поиске присущих только им закономерностей для конструирования признаков и использования их в модели.
Введение 5
1. Обнаружение мошеннических транзакций средствами машинного обучения 6
1.1. Статистика мошеннических случаев с банковскими картами 6
1.2. Задача классификации 7
1.3. Алгоритмы классификации 8
1.3.1. Логистическая регрессия 8
1.3.2. Метод ближайших соседей 8
1.3.3. Метод опорных векторов 9
1.3.3. Дерево решений 9
1.3.4. Случайный лес 11
1.4. Метрики в задаче классификации 11
1.5. Особенности задачи классификации транзакций 12
2. Исследование наборов данных 14
2.1. Набор классифицируемых переводов (hits) 14
2.2. Набор исторических транзакций (hist) 17
2.2.1. Время совершения транзакции (date_time) 18
2.2.2. Подканал транзакции (sub_channel) 19
2.2.3. Тип события (event_type) 19
2.2.4. Подтип транзакции (sub_type) 20
2.2.5. Группа кодов категории продавца (mcc_group) 20
2.3. Пустые значения в наборах данных 20
2.4. Совместный анализ наборов 20
2.4.1. История транзакций клиентов-получателей 21
2.4.2. История транзакций клиентов-отправителей 23
2.4.3. Характерные названия точек продаж (atm_merchant_name) 23
2.4.4. Распределение типа транзакции (event_type) 24
2.4.5. Пустая история 25
2.4.6. Стоимость транзакций в истории 26
2.5. Признаки для классификаторов 26
3. Конструирование моделей 27
3.1. Масштабирование признаков 27
3.2. Деление набора переводов 27
3.3. Используемые методики семплинга 28
3.4. Используемые алгоритмы классификации 30
4. Результаты 30
4.1. Результаты для отдельных моделей 30
4.2. Результаты для ансамбля 33
4.3. Сравнение качества ансамбля и отдельных моделей 34
Заключение 35
Список литературы 36
ПРИЛОЖЕНИЕ А – Признаки для классификаторов 38
ПРИЛОЖЕНИЕ Б – Корреляция признаков с целевой переменной 41
ПРИЛОЖЕНИЕ В – Код функции конструирования признаков 42
1. «Операции, совершенные на территории России с использованием платежных карт, эмитированных российскими кредитными организациями, Банком России и банками – нерезидентами» // Центральный банк Российской Федерации, URL: https://www.cbr.ru/statistics/psrf/sheet015/
2. «Потери россиян от карточных мошенников выросли почти в полтора раза» // Ведомости, URL: https://www.vedomosti.ru/finance/articles/2019/02/19/794514-moshenniki
3. «Число дел о мошенничестве с электронными платежами возросло в восемь раз» // РБК, URL: https://www.rbc.ru/society/20/08/2019/5d5a9af19a7947b82c0ac9e1
4. «В России прогнозируют рост атак на банковские карты» // Рамблер, URL: https://finance.rambler.ru/money/42386983-v-rossii-prognoziruyut-rost-atak-na-bankovskie-karty/
5. «Введение в машинное обучение» // Лекции Матти Пентуса, URL: http://lpcs.math.msu.su/~pentus/opm/learning.pdf
6. «Метод ближайших соседей» // MachineLearning.ru, URL: http://www.machinelearning.ru/wiki/index.php?title=%D0%9C%D0%B5%D1%82%D0%BE%D0%B4_%D0%B1%D0%BB%D0%B8%D0%B6%D0%B0%D0%B9%D1%88%D0%B8%D1%85_%D1%81%D0%BE%D1%81%D0%B5%D0%B4%D0%B5%D0%B9
7. «Support Vector Machine — Introduction to Machine Learning Algorithms» // Towards Data Science, URL: https://towardsdatascience.com/support-vector-machine-introduction-to-machine-learning-algorithms-934a444fca47
8. «Деревья решений: общие принципы»// Loginom, URL: https://loginom.ru/blog/decision-tree-p1
9. A.C. Bahnsen, D. Aouada, A. Stojanovic, & B.E. Ottersten (2016). Feature engineering strategies for credit card fraud detection. Expert Syst. Appl., 51, 134-142.
10. A. C. Bahnsen, A. Stojanovic, D. Aouada, & B. Ottersten. (2013). Cost Sensitive Credit Card Fraud Detection Using Bayes Minimum Risk. 12th International Conference on Machine Learning and Applications, 333–338.
11. Alex G.C. de Sá, Adriano C.M. Pereira, Gisele L. Pappa (2018). A customized classification algorithm for credit card fraud detection. Engineering Applications of Artificial Intelligence, 72, 21-29.
12. “RobustScaler: scikit-learn documentation” // Scikit-learn, URL: https://scikit-learn.org/0.21/modules/generated/sklearn.preprocessing.RobustScaler.html
13. “Under-sampling: imbalanced_learn documentation” // Imbalanced-learn, URL: https://imbalanced-learn.readthedocs.io/en/stable/under_sampling.html
14. N. V. Chawla, K. W. Bowyer, L. O.Hall, W. P. Kegelmeyer, “SMOTE: synthetic minority over-sampling technique,” Journal of artificial intelligence research, 321-357, 2002.
15. «Различные стратегии сэмплинга в условиях несбалансированности классов» // BaseGroup Labs, URL: https://basegroup.ru/community/articles/imbalance-datasets