ПРОГРАММНЫЙ ПРОДУКТ ДЛЯ ИЗВЛЕЧЕНИЯ ЦИФРОВЫХ ВОДЯНЫХ ЗНАКОВ ИЗ ВИДЕОПОТОКОВ С ПОМОЩЬЮ КАМЕРЫ МОБИЛЬНОГО УСТРОЙСТВА

Цифровые водяные знаки являются мощным инструментом передачи данных вместе с цифровым носителем. Целью данной выпускной квалификационной работы является разработка комплекса эффективных алгоритмов, обеспечивающих извлечение цифровых водяных знаков из видео, отображаемого на экране монитора, с помощью камеры мобильного устройства, с созданием программного прототипа, реализующего разработанный комплекс. Среди примененных технологий представлены алгоритмы для встраивания в пространственную область видео, в частотную область изображения с использованием дискретного преобразования Фурье, нейронные сети для улучшения качества изображения при извлечении водяных знаков, а также нейронные сети для поиска экрана на изображении. Для исследования данных технологий было разработано множество прототипов, позволивших не только провести эксперименты и исследовать модификации, но и проверить эффективность работы различных технологий друг с другом. Для разработки прототипов использовались языки программирования Python, Java, MATLAB, C++, C# и Dart, а также множество библиотек для этих языков. В результате были предложены варианты эффективных модификаций нескольких существующих алгоритмов ЦВЗ, имплементирована нейронная сеть, производящая точный поиск экрана на снимаемом камерой телефона изображении, реализована нейронная сеть для улучшения качества улучшения качества снимаемого телефоном изображения, а также создан программный комплекс для работы с ЦВЗ. Эффективность использования всех предложенных решений была подтверждена результатами экспериментов. Результаты работы могут быть полезны при разработке новых алгоритмов для работы с цифровыми водяными знаками, в том числе с использованием нейронных сетей, а также при формировании методик оценки эффективности работы алгоритмов для цифровых водяных знаков.

Оглавление

Введение 12

1 Обзор предшествующих работ 15

1.1 Цифровые изображения и видеопоследовательности 15

1.2 Общие сведения о цифровых водяных знаках 20

1.3 Алгоритмы встраивания цифровых водяных знаков в изображения и видеопоследовательности 24

1.3.1 Виды алгоритмов встраивания цифровых водяных знаков 24

1.3.2 Области встраивания в изображения 26

1.3.3 Нейросетевое встраивание цифровых водяных знаков 29

1.3.4 Специфические техники для видео 30

1.4 Выводы обзорной части 31

2 Алгоритмы встраивания цифровых водяных знаков в видео с устойчивостью к съемке с экрана 33

2.1 Алгоритм встраивания на основе прямоугольных паттернов 33

2.1.1 Краткое описание метода встраивания 33

2.1.2 Параметры алгоритмов встраивания и извлечения 35

2.1.3 Алгоритм встраивания 36

2.1.4 Алгоритм извлечения 38

2.1.5 Определения зоны водяного знака 40

2.1.6 Выводы о применимости алгоритма 44

2.2 Улучшенный алгоритм встраивания на основе прямоугольных паттернов 45

2.3 Алгоритм встраивания на основе треугольных паттернов 50

2.4 Алгоритм встраивания ЦВЗ в частотный спектр ДПФ 52

2.4.1 Описание работы алгоритма внедрения ЦВЗ. 52

2.4.2 Описание работы алгоритма извлечения ЦВЗ. 54

2.4.3 Пояснение алгоритма 60

3 Способы повышения эффективности встраивания 63

3.1 Помехоустойчивое кодирование 63

3.2 Детектирование экрана с помощью нейронной сети 64

3.2.1 Архитектура 64

3.2.2 Подготовка датасета 65

3.2.3 Процесс обучения и интеграции 66

3.3 Улучшение изображений с помощь нейронных сетей для устранения искажений 67

3.3.1 Обзор основных элементов нейронных сетей 67

3.3.2 Сбор и предобработка изображений для обучения 71

3.3.3 Описание параметров обучения 72

3.3.4 Обзор архитектур нейронных сетей для задачи улучшения качества изображения на простых глубоких свёрточных сетей 74

3.3.5 Обзор архитектур нейронной сети для задачи улучшения качества изображения на основе U-net 80

3.3.6 Обзор архитектуры нейронной сети для задачи улучшения качества изображения на основе DenseNet 82

3.3.7 Способы улучшения качества моделей U-net и DenseNet 86

4 Мобильное приложение для извлечения цифровых водяных знаков 91

4.1 Технологии 91

4.2 Архитектура 91

5 Вычислительные эксперименты 94

5.1 План экспериментов 94

5.1.1 Исследования параметров алгоритма на основе прямоугольных паттернов 94

5.1.2 Промежуточные исследования алгоритма на основе ДПФ-преобразования 96

5.1.3 Исследование эффективности работы алгоритма, использующего прямоугольные паттерны при использовании приложения для ПК и мобильного приложения 99

5.2 Результаты экспериментов 100

5.2.1 Промежуточные исследования алгоритма на основе прямоугольных паттернов 100

5.2.2 Промежуточные исследования алгоритма на основе ДПФ-преобразования 104

5.2.3 Исследование эффективности работы алгоритма, использующего прямоугольные паттерны при использовании приложения для ПК и мобильного приложения 110

5.3 Выводы по результатам экспериментов 114

Заключение 115

Список использованных источников 117

Список использованных источников

[1] BT.601: Studio encoding parameters of digital television for standard 4:3 and wide screen 16:9 aspect ratios. – URL:

[2] BT.709: Parameter values for the HDTV standards for production and international programme exchange. – URL:

[3] BT.709: BT.2020: Parameter values for ultra-high definition television systems for production and international programme exchange. – URL:

[4] Evsutin O., Dzhanashia K. Watermarking schemes for digital images: Robustness overview // Signal Processing: Image Communication. 2022. V. 100. Article N. 116523

[5] Wang J., Wan W.B., Li X.X., De Sun J., Zhang H.X. Color Image Watermarking Based on Orientation Diversity and Color Complexity // Expert Systems with Applications. 2020. V. 140. Article N. 112868.

[6] Li M., Yuan X. Adaptive Segmentation-Based Feature Extraction and S-STDM Watermarking Method for Color Image // Neural Computing and Applications. 2020. V. 32, N. 13. P. 9181-9200.

[7] Prabha K., Shatheesh Sam I. An effective robust and imperceptible blind color image watermarking using WHT // Journal of King Saud University – Computer and Information Sciences. 2020. (In Press)

[8] Tran V., Jayatilaka G., Ashok A., Misra A. DeepLight: Robust & Unobtrusive Real-time Screen-Camera Communication for Real-World Displays // Proceedings of the 20th International Conference on Information Processing in Sensor Networks (co-located with CPS-IoT Week 2021) (IPSN '21). Association for Computing Machinery, New York, USA, 2021. P. 238-253.

[9] Chen W., Zhu C., Ren N., Seppnen T., Keskinarkaus A. Screen-Cam Robust and Blind Watermarking for Tile Satellite Images // IEEE Access. 2020. V. 8. P. 125274-125294.

[10] Chen W., Ren N., Zhu C., Zhou Q., Seppnen T., Keskinarkaus A. Screen-Cam Robust Image Watermarking with Feature-Based Synchronization // Applied Sciences. 2020. V. 10. P. 7494.

всего 35 источников