ПРАКТИЧЕСКИЕ АЛГОРИТМЫ ДЛЯ ОБЩЕГО ВОССТАНОВЛЕНИЯ ИЗОБРАЖЕНИЙ И ВИДЕО

В современном мире, когда люди постоянно делятся своими впечатлениями через фотографии и видео, качество этих материалов играет огромную роль. Ручная реставрация изображений, видео, кино и мультфильмов всегда было долгой и кропотливой работой. При обработке старых фильмов самая сложная задача – это восстановление исходного цвета, проецирование на видео недостающих пикселей и повышение детализации. Автоматические алгоритмы для решения этой задачи разрабатывались еще с середины прошлого столетия, но, к сожалению, ввиду простоты данных алгоритмов, на изображение просто накладывался некоторый эффект и не мог дать более детализированной картинки, чем входное изображение.

Развитие технологий искусственного интеллекта и нейронных сетей, а также сервисов на их основе привело к формированию полноценной тенденции – восстановлению, реставрированию и улучшению качества старых или сжатых фотографий и видео. Так как данная тенденция тесно связана с разработкой нейронных сетей, их подразделами, а также системами компьютерного зрения, в настоящее время она является одним из самых актуальных и востребованных методов улучшения изображений и видео. Помимо этого, возможность улучшать и обрабатывать изображения, не прибегая к сложным и дорогим программам стала более доступной благодаря нейронным сетям, хотя совсем недавно этот процесс считался очень сложным.

Актуальность выбранной темы обусловлена тем, что в наше время, когда повсюду распространены 3D-мультфильмы и экраны в 4К и более разрешении, перестали быть востребованы мультфильмы и мультсериалы советских времен. Будь то зарубежная или отечественная старая мультипликация – для людей, выросших на таких мультфильмах, они считаются очень далеким, но хорошим воспоминанием. К сожалению, нельзя не отметить качество данных мультипликационных лент. Еще двадцать лет назад они казались самыми лучшими, но в сравнении с современными они вряд ли смогут конкурировать качеством и разрешением.

Не рассматривая сюжетную составляющую старой мультипликации, первой проблемой в отсутствии интереса современных детей к подобным мультфильмам является именно плохое качество – нечеткие линии, помехи, шум, замыленные фоны, и тому подобное.

Цель работы: исследование и реализация практических алгоритмов для повышения качества изображений на основе генеративно-состязательных сетей.

Введение .8

1. Исследование предметной области 10
2. Анализ проблемы улучшения качества изображений 10
3. Сверточная нейронная сеть 13
4. Генеративно-состязательная нейронная сеть 18
5. Общие сведения 18
6. Дискриминатор 19
7. Генератор 20
8. Алгоритмы интерполяции 22
9. Алгоритм сверхразрешения 24
10. Аналитический обзор существующих решений 31
11. Общие сведения 31
12. Оценка качества изображений для численного сравнения 31
13. Задача повышения разрешения цифрового изображения 32
14. Обучение SRGAN 35
15. Методология 40
16. Общие сведения 40
17. Классическая модель деградации 43
18. Модель деградации высокого порядка 45
19. Артефакты звона и превышения 48
20. Дискриминатор со спектральной нормализацией SN 47
21. Разработка программного обеспечения 49
22. Общие сведения 49
23. Выбор средств разработки 49
24. Дискриминатор U-Net 51
25. Обучение моделей 53
26. Деградация изображений 53
27. Обучение генеративно-состязательной сети 58
28. Подготовка наборов данных 61
29. Проведение вычислительного эксперимента 63
30. Сравнение полученных результатов с аналогами 66

Заключение 69

Список использованных источников 71

Приложение А. Генерация списка 73

Приложение Б. Конфигурационный файл 74

Приложение В. Исполняемый файл 77

Приложение Г. Изменения в конфигурационном файле 81

1. Голуб, Ю. И. Оценка качества цифровых изображений // Компьютерные и информационные науки. – Беларусь: Наука, 2021. С. 4-15.
2. Цифровой износ – старое явление на новый лад [Электронный ресурс]. – URL: https://habr.com/ru/articles/340714 (дата обращения 05.04.2023).
3. CS231n: Сверточные нейронные сети для распознавания образов [Электронный ресурс]. – URL: https://habr.com/ru/articles/456186 (дата обращения 07.05.2023).
4. Сверточная нейронная сеть [Электронный ресурс]. – URL: https://www. helenkapatsa.ru/sviortochnaia-nieironnaia-siet (дата обращения 07.05.2023).
5. Сверточная нейронная сеть, часть 1: структура, топология, функции активации и обучающее множество [Электронный ресурс]. – URL: https://habr.com/ru/articles/348000 (дата обращения 09.05.2023).
6. Что такое генеративно-состязательные сети (GAN) [Электронный ресурс]. – URL: https://proproprogs.ru/neural_network/chto-takoe-generativno-sostyazatelnye-seti-gan (дата обращения 15.05.2023).
7. Генеративные состязательные сети: всеобъемлющий взгляд [Электронный ресурс]. – URL: https://evogeek.ru/articles/275833 (дата обращения 19.05.2023).
8. Аверченков А.В. Анализ и применение генеративно-состязательных сетей для получения изображений высокого качества/ А.В. Аверченков, А.А. Андросов, Ю.А. Малахов// Управление в социальных и экономических системах. – Брянск: 2020. – С. 167-176.
9. Хрячков Д.С. Разработка программного модуля на основе технологии Super-resolution/ Д.С. Хрячков// Молодой ученый. 2019.  № 22. С. 66-68.
10. Принципы и сценарии применения технологии суперразрешения для видеоизображений [Электронный ресурс].  URL: https://russianblogs.com /article/186672744 (дата обращения 21.05.2023).
11. Deep learning based super resolution [Электронный ресурс].  URL: https://towardsdatascience.com/deep-learning-based-super-resolution-without-using-a-gan-11c9bb5b6cd5 (дата обращения 16.05.2023).
12. Суперразрешение на основе глубокого обучения без использования GAN [Электронный ресурс].  URL: https://machinelearningmastery.ru/deep-learning-based-super-resolution-without-using-a-gan-11c9bb5b6cd5 (дата обраще-ния 16.05.2023).
13. Саввин С.В. Алгоритмы построения многокадрового сверхразрешения изображений в условиях аппликативных помех на основе глубоких нейронных сетей/ С.В. Саввин, А.А. Сирота// Компьютерные и информационные науки. – Воронеж: 2022. – С. 130-140.
14. Саввин С.В. Алгоритмы обработки изображений с достижением эффекта сверхразрешения на основе методов оптимальной фильтрации и машинного обучения: дис. канд. ист. наук: 07.00.01: защищена 25.01.2022: утв. 25.05.2022/ Саввин Сергей Викторович. – М., 2022. – 151 с.
15. Солдатенко М.Н. Разработка приложения для повышения разрешения изображения с помощью генеративно-состязательной сети// Компьютерные и информационные науки. – СПб.: Наука, 2021. – С. 157-170.
16. Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network [Электронный ресурс]. – URL: https://arxiv.org/abs/ 1609.04802 (дата обращения 27.05.2023).
17. Шлыкович А.Н. Сравнение классических методов интерполяции изображения с моделью искусственной нейронной сети SRGAN/ А.Н. Шлыкович, С.А. Забуга// Управление в социальных и экономических системах. – М.: 2020. С. 125-139.