Применение языковых моделей BERT для подборки публикаций по заданной теме.

В данной работе применяются изученные в предыдущей работе инструменты для решения задачи выбора статьи, максимально близкой как отдельным аннотациям исходной коллекции, так и всей коллекции в целом.

Для выполнения этого задания рекомендуется воспользоваться средой Google Colab.

Исходная коллекция аннотаций находится в файле Аннотации_статей_ММРО_2011_Статистическая_теория_обучения.txt, коллекция статей для ранжирования - в файле full_text_articles_for_classification.zip. Статьи представляют собой скан-копии оригинальных работ, переведённые в формат .doc с соответствующей корректировкой.

Задание: используя пример из предыдущего задания(Первое задание.rar), реализовать:

• поиск статьи, максимально близкой по смыслу объединённому множеству фраз всех аннотаций из файла Аннотации_статей_ММРО_2011_Статистическая_теория_обучения.txt;
• для каждой аннотации из файла Аннотации_статей_ММРО_2011_Статистическая_теория_обучения.txt - поиск статьи, максимально близкой ей по смыслу. Найти аннотацию, максимально близкую по смыслу наибольшему числу статей из представленных в файле full_text_articles_for_classification.zip.

Аннотации брать вместе с заголовками.

Сравнить:

• результаты, полученные с применением косинусной близости и расстояния Евклида;
• результаты, полученные с применением четырёх задействованных вариантов модели трансформеров предложений (bert-base-nli-mean-tokens, sentence-transformers/distiluse-base-multilingual-cased-v1, sentence-transformers/all-MiniLM-L6-v2 и, соответственно, sberbank-ai/ruscibert).

В качестве ответа на задание представить преограммную реализацию в блокноте Jupyter Notebook и текстовый файл с результатами экспериментов (как в предыдущем задании).