Метод регуляризации нейронной сети Vision Transformer

Нейросетевые подходы в компьютерном зрении стали неотъемле­мой частью повседневной жизни. Они используются в приложениях для поиска похожих товаров, распознавания лиц для идентификации личности, а также для распознавания услуг.

Одной из первых нейронных сетей является AlexNet [1], которая значительно превзошла классические подходы в области классифика­ции изображений на наборе данных ImageNet [2]. Эта модель стала пер­вым значительным шагом в направлении создания глубоких сверточ­ных сетей, способных обрабатывать большой объем данных и дости­гать высоких показателей точности в задачах компьютерного зрения. Данная работа впоследствии привела к популярности использования свёрточных архитектур [3] при решении задач компьютерного зрения.

В исследовании, описанном в работе [4], была представлена архи­тектура Vision Transformer, которая показала преимущество в задачах классификации изображений по сравнению со сверточными архитекту­рами, доминировавшими в области компьютерного зрения на тот мо­мент. Данный прирост в точности связан с тем, что для обучения Vision Transformer использовалось большое количество обучающих данных.

Успех в улучшении производительности при наличии большого объема данных связан с тем, что Vision Transformer характеризуется меньшим индуктивным смещением, что позволяет модели эффектив­нее генерализировать данные по сравнению со сверточными нейронны­ми сетями. Однако при недостатке данных Vision Transformer от­стает от сверточных сетей в плане производительности. В таких усло­виях возникает вопрос о возможности применения Vision Transformer в условиях ограниченного объема данных. Один из возможных подхо­дов к увеличению производительности в таких условиях заключается в добавлении дополнительных индуктивных смещений.

Таким образом, была поставлена следующая цель: разрабо­тать метод регуляризации, позволяющий повысить производительность

Vision Transformer в условиях небольшого количества данных. В соот­ветствии с поставленной целью требуется решить следующие задачи

 изучить предметную область и существующие подходы регуля­ризации нейронной сети Vision Transformer,

разработать и реализовать метод регуляризации,

провести эксперименты с предложенным подходом,

 проанализировать полученные результаты.

ВВЕДЕНИЕ ...................................................................................................  3

1.                  Описание предметной области ...........................................................  5

1.1.          Vision Transformer ..............................................................................  5

1.1.1.    Кодирование позиций ........................................................................  6

1.1.2.    Механизм Multi-Head Attention .........................................................  7

1.1.3.    Архитектура .......................................................................................  8

1.2.          Сравнение со свёрточными сетями ....................................................  8

1.3.          Индуктивные смещения в Vision Transformer .................................  10

1.4.          Существующие подходы регуляризации Vision Transformer 11

1.4.1.    Метод Spatial Attention-based Regularization ..................................  11

1.4.2.    Метод ARViT-2D .............................................................................  13

1.4.3.    Метод DeiT .......................................................................................  14

2.                  Предложенный метод .......................................................................  16

2.1.          Описание концепции .........................................................................  16

2.2.          Схема регуляризация .......................................................................  16

2.3.          Области применения .........................................................................  18

3.                  Описание экспериментов ..................................................................  21

3.1.          Задача классификации ......................................................................  21

3.1.1.     Наборы данных ...............................................................................  22

3.1.2.     Результаты .......................................................................................  24

3.2.          Задача обнаружения объектов .........................................................  28

3.2.1.     Наборы данных ...............................................................................  28

3.2.2.     Результаты .......................................................................................  29

3.3.          Задача языкового моделирования ...................................................  30

3.3.1.     Наборы данных ...............................................................................  30

3.3.2.     Результаты .......................................................................................  31

ЗАКЛЮЧЕНИЕ ...........................................................................................  34

СПИСОК ЛИТЕРАТУРЫ ..........................................................................  38

ПРИЛОЖЕНИЕ    41

1)  Krizhevsky, A. ImageNet classification with deep convolutional neural networks / A. Krizhevsky, I. Sutskever, G.Hinton [и др.]. — Текст : непосредственный // Advances in Neural Information Processing Systems 25’, Curran Associates, Inc. - 2012. - C. 1097-1105.

2)  Deng, J. ImageNet: a Large-Scale Hierarchical Image Database / J. Deng, W. Dong, R. Socher [и др.]. — Текст : непосредственный // IEEE Conference on Computer Vision and Pattern Recognition. - 2009. - C. 248¬255.

3)  Не, K. Deep Residual Learning for Image Recognition / K. He, X. Zhang, S. Ren, J. Sun. - Текст : непосредственный // IEEE Conference on Computer Vision and Pattern Recognition. - 2015. - C. 770-778.

4)  Dosovitskiy, A. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale / A. Dosovitskiy, L. Beyer, A. Kolesnikov [и др.]. - Текст : электронный // ArXiv. - 2020. - URL: https://arxiv.org/pdf/2010.11929 (дата обращения 12.05.2024).

5)  Vaswani, A. Attention is all you need / A. Vaswani, N. Shazeer, N. Parmar [и др.]. - Текст : непосредственный // Advances in Neural Information Processing Systems. - 2017. - C. 5998-6008.

6)  Bello, I. Attention Augmented Convolutional Networks / I. Bello, B. Zoph, A. Vaswani, J. Shlens, Q. Le. // - Текст : электронный // ArXiv. - 2019. - URL: https://arxiv.org/abs/1904.09925 (дата обращения: 12.05.2024).

7)  Wu, B. Visual Transformers: Token-based Image Representation and Processing for Computer Vision / B. Wu, C. Xu, X. Dai, A. Wan, P. Zhang, Z. Yan, M.Tomizuka, J. Gonzalez, K. Keutzer, P.r Va jda. // - Текст : электронный // ArXiv. - 2020. - URL: https://arxiv.org/abs/2006.03677 (дата обращения: 12.05.2024).

8)  Hendrycks, D. Gaussian Error Linear Units (GELUs) / D.Hendrycks, K. Gimpel. - Текст : электронный // ArXiv. - 2016. - URL: https://arxiv.org/abs/1606.08415 (дата обращения 12.05.2024).

9)   Sun, C. Revisiting Unreasonable Effectiveness of Data in Deep Learning Era / C. Sun, A. Shrivastava, S. Singh, A. Gupta. // - Текст : электронный // ArXiv. - 2017. - URL: https://arxiv.org/pdf/1707.02968v2 (дата обращения: 12.05.2024).

10)  Peruzzo, E. Spatial Entropy as an Inductive Bias for Vision Transformers / E. Peruzzo, E. Sangineto, Y. Liu, M. Nadai, W. Bi, B. Lepri, N. Sebe. // - Текст : электронный // ArXiv. - 2023. - URL: https://arxiv.org/abs/2206.04636 (дата обращения: 12.05.2024).