Разработка сервиса, генерирующего текстовое описание для изображений с определённой спецификой

Раздел
Программирование
Просмотров
160
Покупок
0
Антиплагиат
Не указан
Размещена
26 Июл 2024 в 11:29
ВУЗ
Не указан
Курс
4 курс
Стоимость
999 ₽
Файлы работы   
1
Каждая работа проверяется на плагиат, на момент публикации уникальность составляет не менее 40% по системе проверки eTXT.
docx
Разработка сервиса, генерирующего текстовое описание для изображений с определённой спецификой
2.7 Мбайт 999 ₽
Описание

Существующие программные решения либо представляют собой репозиторий с моделью генерации отчетов, что не позволяет широкому кругу лиц использовать эти решения, либо имеют веб-интерфейс, но при этом предназначены только для врачей-радиологов и не имеют функционала для пациентов.

Таким образом, в качестве решаемой проблемы в рамках настоящей ВКР было обозначено отсутствие программного решения, которое бы предоставляло возможность автоматизированной генерации радиологического отчета с интерфейсом как для врачей-радиологов, так и для пациентов.

Для решения поставленной проблемы была сформулирована следующая цель. Разработка программного решения, которое позволяет автоматизированно генерировать радиологические отчеты с интерфейсом, доступным как для врачей-радиологов, так и для пациентов, обеспечивая им возможность взаимодействия и составления отчета.

Для достижения цели ВКР были поставлены следующие задачи.

Провести анализ методов генерации радиологических отчетов по рентгеновским снимкам с использованием искусственных нейронных сетей;

Спроектировать архитектуру программного решения;

 Подготовить набор данных для обучения нейросети;

Провести обучение трансформерной нейросети с архитектурой энкодер-декодер;

Реализовать генерацию       радиологических отчетов по

рентгеновским снимкам       с применением разработанных

алгоритмов;

Реализовать API для осуществления генерации радиологических отчетов по рентгеновским снимкам;

Разработать пользовательский веб-интерфейс для взаимодействия с реализованными механизмами.

Оглавление

Содержание.................................................................................................... 2

Введение.......................................................................................................... 3

Глава 1. Анализ предметной области......................................................... 6

1.1.   Специфика исследуемой предметной области................................... 6

1.2.   Методы применения технологий глубокого обучения..................... 7

1.3.    Обзор существующих программных инструментов для генерации радиологических отчетов........................................................................ 12

Глава 2. Проектирование информационной системы............................ 15

2.1.    Общая архитектура программного решения................................. 15

2.2.    Архитектура базы данных............................................................... 16

2.3.    Сценарии взаимодействия пользователя с приложением.............. 17

2.4.    Проектирование API генерации отчетов......................................... 23

Глава 3. Обучение нейронной сети........................................................... 24

3.1.    Подготовка набора данных............................................................. 24

3.2.    Архитектура модели машинного обучения.................................... 25

3.3.    Обучение модели на выбранных наборах данных......................... 29

3.4.    Оценка качества модели................................................................... 30

3.4.1.    Определение метрик качества.................................................. 30

3.4.2.    Вычисление значений метрик.................................................. 33

Глава 4. Реализация веб-приложения...................................................... 36

4.1.    Реализация основного сервиса веб-приложения............................ 36

4.2.    Реализация API генерации отчетов................................................. 40

4.3.    Тестирование функционала сайта................................................... 41

Заключение.................................................................................................. 44

Список литературы..................................................................................... 45

Глоссарий..................................................................................................... 48

Приложения................................................................................................. 50

Список литературы

1   Zhou S. K., Rueckert D., Fichtinger G. (ed.). Handbook of medical image computing and computer assisted intervention. - Academic Press, 2019.

2     . Bruno M. A., Walker E. A., Abujudeh H. H. Understanding and confronting our mistakes: the epidemiology of error in radiology and strategies for error reduction //Radiographics. - 2015. - Т 35. - №. 6. - С. 1668-1676.

3    . Artificial Intelligence (AI) in Healthcare Market by Offering (Hardware, Software, Services), Technology (Machine Learning, Natural Language Processing), Application (Medical Imaging & Diagnostics, Patient Data & Risk Analysis), End User & Region - Global Forecast to 2029 // Markets And                                          Markets  URL:

https://www.marketsandmarkets.com/Market-Reports/artificial-intelligence- healthcare-market-54679303.html (дата обращения: 12.03.2024).

4     . Xu K. et al. Show, attend and tell: Neural image caption generation with visual attention //International conference on machine learning. - PMLR, 2015. - С. 2048-2057.

5    . Lu J. et al. Knowing when to look: Adaptive attention via a visual sentinel for image captioning //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2017. - С. 375-383.

6     . Anderson P. et al. Bottom-up and top-down attention for image captioning and visual question answering //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2018. - С. 6077-6086.

7    . Jing B., Xie P., Xing E. On the automatic generation of medical imaging reports //arXiv preprint arXiv: 1711.08195. - 2017.

8    . Yuan J. et al. Automatic radiology report generation based on multi-view image fusion and medical concept enrichment //Medical Image Computing and Computer Assisted Intervention-MICCAI 2019: 22nd International Conference, Shenzhen, China, October 13-17, 2019, Proceedings, Part VI 22. - Springer International Publishing, 2019. - С. 721-729.

9     . Liao Y., Liu H., Spasic I. Deep learning approaches to automatic radiology report generation: A systematic review //Informatics in Medicine Unlocked. - 2023. - С. 101273.

10 .0'shea K., Nash R. An introduction to convolutional neural networks //arXiv preprint arXiv:1511.08458. - 2015.

11 .Schmidt R. M. Recurrent neural networks (rnns): A gentle introduction and overview //arXiv preprint arXiv:1912.05911. - 2019.

12 .Bengio Y., Frasconi P., Simard P. The problem of learning long-term dependencies in recurrent networks //IEEE international conference on neural networks. - IEEE, 1993. - С. 1183-1188.

13 .Vaswani A. et al. Attention is all you need //Advances in neural information processing systems. - 2017. - Т. 30.

14 .Han K. et al. Transformer in transformer //Advances in neural information processing systems. - 2021. - Т. 34. - С. 15908-15919.

15 .Moon J. H. et al. Multi-modal understanding and generation for medical images and text via vision-language pre-training //IEEE Journal of Biomedical and Health Informatics. - 2022. - Т. 26. - №. 12. - С. 6070-6080.

16 .Yang S. et al. Radiology report generation with a learned knowledge base and multi-modal alignment //Medical Image Analysis. - 2023. - Т. 86. - С. 102798.

17 .Thones J. Microservices //IEEE software. - 2015. - Т. 32. - №. 1. - С. 116-116.

18 .Wang X., Zhao H., Zhu J. GRPC: A communication cooperation mechanism in distributed systems //ACM SIGOPS Operating Systems Review. - 1993. - Т. 27. - №. 3. - С. 75-86.

19 .Johnson A. E. W. et al. MIMIC-CXR-JPG, a large publicly available database of labeled chest radiographs //arXiv preprint arXiv:1901.07042. - 2019.

1     0.Irvin J. et al. Chexpert: A large chest radiograph dataset with uncertainty labels and expert comparison //Proceedings of the AAAI conference on artificial intelligence. - 2019. - Т 33. - №. 01. - С. 590-597.

21 .He K. et al. Deep residual learning for image recognition //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - С. 770-778.

22 .Radford A. et al. Learning transferable visual models from natural language supervision //International conference on machine learning. - PMLR, 2021. - С. 8748-8763.

23 .Sloan P. et al. Automated Radiology Report Generation: A Review of Recent Advances //IEEE Reviews in Biomedical Engineering. - 2024.

24 .Papineni K. et al. Bleu: a method for automatic evaluation of machine translation //Proceedings of the 40th annual meeting of the Association for Computational Linguistics. - 2002. - С. 311-318.

25 .Lin C. Y. Rouge: A package for automatic evaluation of summaries //Text summarization branches out. - 2004. - С. 74-81.

26 .Vedantam R., Lawrence Zitnick C., Parikh D. Cider: Consensus-based image description evaluation //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2015. - С. 4566-4575.

Вам подходит эта работа?
Похожие работы
Web-программирование
Тест Тест
1 Янв в 14:55
29 +2
0 покупок
Web-программирование
Курсовая работа Курсовая
21 Дек 2024 в 18:48
67 +1
0 покупок
Web-программирование
Дипломная работа Дипломная
20 Дек 2024 в 20:25
72 +3
0 покупок
Web-программирование
Дипломная работа Дипломная
19 Дек 2024 в 21:43
41 +1
0 покупок
Премиум
Web-программирование
Тест Тест
6 Дек 2024 в 16:29
91 +8
3 покупки
Другие работы автора
Web-программирование
Дипломная работа Дипломная
20 Сен 2024 в 10:40
118 +3
0 покупок
Web-программирование
Дипломная работа Дипломная
20 Сен 2024 в 10:27
98 +1
0 покупок
Web-программирование
Дипломная работа Дипломная
20 Сен 2024 в 10:19
63
0 покупок
Web-программирование
Дипломная работа Дипломная
20 Сен 2024 в 09:47
66 +1
0 покупок
Web-программирование
Дипломная работа Дипломная
19 Сен 2024 в 19:29
74
0 покупок
Web-программирование
Дипломная работа Дипломная
17 Сен 2024 в 22:46
71
0 покупок
Web-программирование
Дипломная работа Дипломная
17 Сен 2024 в 21:15
63
0 покупок
Web-программирование
Дипломная работа Дипломная
17 Сен 2024 в 20:58
71
0 покупок
Web-программирование
Дипломная работа Дипломная
14 Сен 2024 в 22:41
71 +1
0 покупок
Web-программирование
Дипломная работа Дипломная
14 Сен 2024 в 21:50
66
0 покупок
Web-программирование
Дипломная работа Дипломная
14 Сен 2024 в 21:48
46
0 покупок
Web-программирование
Дипломная работа Дипломная
14 Сен 2024 в 21:08
66
0 покупок
Web-программирование
Дипломная работа Дипломная
13 Сен 2024 в 23:51
53
0 покупок
Web-программирование
Дипломная работа Дипломная
13 Сен 2024 в 22:49
55
0 покупок
Web-программирование
Дипломная работа Дипломная
13 Сен 2024 в 11:21
90 +4
0 покупок
Web-программирование
Дипломная работа Дипломная
13 Сен 2024 в 00:29
109 +1
0 покупок
Web-программирование
Дипломная работа Дипломная
12 Сен 2024 в 00:40
57
0 покупок
Web-программирование
Дипломная работа Дипломная
11 Сен 2024 в 23:24
52
0 покупок
Web-программирование
Дипломная работа Дипломная
11 Сен 2024 в 10:31
114 +1
0 покупок
Темы журнала
Показать ещё
Прямой эфир