Разработка сервиса, генерирующего текстовое описание для изображений с определённой спецификой

Существующие программные решения либо представляют собой репозиторий с моделью генерации отчетов, что не позволяет широкому кругу лиц использовать эти решения, либо имеют веб-интерфейс, но при этом предназначены только для врачей-радиологов и не имеют функционала для пациентов.

Таким образом, в качестве решаемой проблемы в рамках настоящей ВКР было обозначено отсутствие программного решения, которое бы предоставляло возможность автоматизированной генерации радиологического отчета с интерфейсом как для врачей-радиологов, так и для пациентов.

Для решения поставленной проблемы была сформулирована следующая цель. Разработка программного решения, которое позволяет автоматизированно генерировать радиологические отчеты с интерфейсом, доступным как для врачей-радиологов, так и для пациентов, обеспечивая им возможность взаимодействия и составления отчета.

Для достижения цели ВКР были поставлены следующие задачи.

Провести анализ методов генерации радиологических отчетов по рентгеновским снимкам с использованием искусственных нейронных сетей;

Спроектировать архитектуру программного решения;

Подготовить набор данных для обучения нейросети;

Провести обучение трансформерной нейросети с архитектурой энкодер-декодер;

Реализовать генерацию радиологических отчетов по

рентгеновским снимкам с применением разработанных

алгоритмов;

Реализовать API для осуществления генерации радиологических отчетов по рентгеновским снимкам;

Разработать пользовательский веб-интерфейс для взаимодействия с реализованными механизмами.

Содержание.................................................................................................... 2

Введение.......................................................................................................... 3

Глава 1. Анализ предметной области......................................................... 6

1.1. Специфика исследуемой предметной области................................... 6

1.2. Методы применения технологий глубокого обучения..................... 7

1.3. Обзор существующих программных инструментов для генерации радиологических отчетов........................................................................ 12

Глава 2. Проектирование информационной системы............................ 15

2.1. Общая архитектура программного решения................................. 15

2.2. Архитектура базы данных............................................................... 16

2.3. Сценарии взаимодействия пользователя с приложением.............. 17

2.4. Проектирование API генерации отчетов......................................... 23

Глава 3. Обучение нейронной сети........................................................... 24

3.1. Подготовка набора данных............................................................. 24

3.2. Архитектура модели машинного обучения.................................... 25

3.3. Обучение модели на выбранных наборах данных......................... 29

3.4. Оценка качества модели................................................................... 30

3.4.1. Определение метрик качества.................................................. 30

3.4.2. Вычисление значений метрик.................................................. 33

Глава 4. Реализация веб-приложения...................................................... 36

4.1. Реализация основного сервиса веб-приложения............................ 36

4.2. Реализация API генерации отчетов................................................. 40

4.3. Тестирование функционала сайта................................................... 41

Заключение.................................................................................................. 44

Список литературы..................................................................................... 45

Глоссарий..................................................................................................... 48

Приложения................................................................................................. 50

1 Zhou S. K., Rueckert D., Fichtinger G. (ed.). Handbook of medical image computing and computer assisted intervention. - Academic Press, 2019.

2 . Bruno M. A., Walker E. A., Abujudeh H. H. Understanding and confronting our mistakes: the epidemiology of error in radiology and strategies for error reduction //Radiographics. - 2015. - Т 35. - №. 6. - С. 1668-1676.

3 . Artificial Intelligence (AI) in Healthcare Market by Offering (Hardware, Software, Services), Technology (Machine Learning, Natural Language Processing), Application (Medical Imaging & Diagnostics, Patient Data & Risk Analysis), End User & Region - Global Forecast to 2029 // Markets And Markets URL:

https://www.marketsandmarkets.com/Market-Reports/artificial-intelligence- healthcare-market-54679303.html (дата обращения: 12.03.2024).

4 . Xu K. et al. Show, attend and tell: Neural image caption generation with visual attention //International conference on machine learning. - PMLR, 2015. - С. 2048-2057.

5 . Lu J. et al. Knowing when to look: Adaptive attention via a visual sentinel for image captioning //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2017. - С. 375-383.

6 . Anderson P. et al. Bottom-up and top-down attention for image captioning and visual question answering //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2018. - С. 6077-6086.

7 . Jing B., Xie P., Xing E. On the automatic generation of medical imaging reports //arXiv preprint arXiv: 1711.08195. - 2017.

8 . Yuan J. et al. Automatic radiology report generation based on multi-view image fusion and medical concept enrichment //Medical Image Computing and Computer Assisted Intervention-MICCAI 2019: 22nd International Conference, Shenzhen, China, October 13-17, 2019, Proceedings, Part VI 22. - Springer International Publishing, 2019. - С. 721-729.

9 . Liao Y., Liu H., Spasic I. Deep learning approaches to automatic radiology report generation: A systematic review //Informatics in Medicine Unlocked. - 2023. - С. 101273.

10 .0'shea K., Nash R. An introduction to convolutional neural networks //arXiv preprint arXiv:1511.08458. - 2015.

11 .Schmidt R. M. Recurrent neural networks (rnns): A gentle introduction and overview //arXiv preprint arXiv:1912.05911. - 2019.

12 .Bengio Y., Frasconi P., Simard P. The problem of learning long-term dependencies in recurrent networks //IEEE international conference on neural networks. - IEEE, 1993. - С. 1183-1188.

13 .Vaswani A. et al. Attention is all you need //Advances in neural information processing systems. - 2017. - Т. 30.

14 .Han K. et al. Transformer in transformer //Advances in neural information processing systems. - 2021. - Т. 34. - С. 15908-15919.

15 .Moon J. H. et al. Multi-modal understanding and generation for medical images and text via vision-language pre-training //IEEE Journal of Biomedical and Health Informatics. - 2022. - Т. 26. - №. 12. - С. 6070-6080.

16 .Yang S. et al. Radiology report generation with a learned knowledge base and multi-modal alignment //Medical Image Analysis. - 2023. - Т. 86. - С. 102798.

17 .Thones J. Microservices //IEEE software. - 2015. - Т. 32. - №. 1. - С. 116-116.

18 .Wang X., Zhao H., Zhu J. GRPC: A communication cooperation mechanism in distributed systems //ACM SIGOPS Operating Systems Review. - 1993. - Т. 27. - №. 3. - С. 75-86.

19 .Johnson A. E. W. et al. MIMIC-CXR-JPG, a large publicly available database of labeled chest radiographs //arXiv preprint arXiv:1901.07042. - 2019.

1 0.Irvin J. et al. Chexpert: A large chest radiograph dataset with uncertainty labels and expert comparison //Proceedings of the AAAI conference on artificial intelligence. - 2019. - Т 33. - №. 01. - С. 590-597.

21 .He K. et al. Deep residual learning for image recognition //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - С. 770-778.

22 .Radford A. et al. Learning transferable visual models from natural language supervision //International conference on machine learning. - PMLR, 2021. - С. 8748-8763.

23 .Sloan P. et al. Automated Radiology Report Generation: A Review of Recent Advances //IEEE Reviews in Biomedical Engineering. - 2024.

24 .Papineni K. et al. Bleu: a method for automatic evaluation of machine translation //Proceedings of the 40th annual meeting of the Association for Computational Linguistics. - 2002. - С. 311-318.

25 .Lin C. Y. Rouge: A package for automatic evaluation of summaries //Text summarization branches out. - 2004. - С. 74-81.

26 .Vedantam R., Lawrence Zitnick C., Parikh D. Cider: Consensus-based image description evaluation //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2015. - С. 4566-4575.