Тема работы разработка AI визуально-текстового помощника для обнаружения аномалий при изображениях головного мозга

Например с использованием llm моделей medclip. Другие модели также приветствуются

Материалы есть , план и наработки имеются

«Ребятки хотелось бы увидеть что то подобное import torch

import clip

from PIL import Image

# Загрузка модели CLIP

device = "cuda" if torch.cuda.is_available() else "cpu"

model, preprocess = clip.load("ViT-B/32", device=device)

# Загрузка изображения МРТ головного мозга

image_path = "brain_mri_image.jpg"

image = preprocess(Image.open(image_path)).unsqueeze(0).to(device)

# Описание аномалий для сравнения

anomaly_descriptions = ["tumor", "hemorrhage", "inflammation", "lesion"]

# Кодирование описаний аномалий

anomaly_tokens = clip.tokenize(anomaly_descriptions).to(device)

# Получение векторного представления изображения и описания аномалий

with torch.no_grad():

  image_features = model.encode_image(image)

  anomaly_features = model.encode_text(anomaly_tokens)

# Вычисление сходства между изображением и описаниями аномалий

similarity_scores = (image_features @ anomaly_features.T).softmax(dim=-1)

# Вывод результатов

for i, description in enumerate(anomaly_descriptions):

  print(f"Сходство с {description}: {similarity_scores[0, i].item()}")»

Ну для реальных изображений конечно , нагенерить немного