Система автоматического формирования блока метаданных научных документов с использованием открытых баз данных

Ежегодно в мире происходит закономерный прирост объема знаний, появляются новые открытия и научные достижения. По данным Scopus, в 2023 году количество научных публикаций только в России достигло 1,7 млн [1]. По мере увеличения объема информации возрастает потребность в ее обработке и хранении. А для этого требуются структурированные описания этих данных - метаданные. Помимо автоматизированных систем, работающих с обработкой данных, они нужны также для создания пользователями запросов, анализа данных и интерпретации их содержимого. В некоторых источниках также упоминается их ключевая роль в обеспечении технических стандартов и правил генерации записей, что значительно упрощает процесс работы с данными [2].

Однако метаданные могут содержать ошибки и неточности по разным причинам (например, в случаях, когда авторы имеют одно и то же полное имя). Ручное формирование блока метаданных также требует некоторых временных затрат.

В рамках текущего исследования для решения упомянутых проблем реализуется система автоматического формирования блока метаданных научных документов на основании полученных данных с помощью Google Scholar SERP API [3], WikiData API [4], ORCID API[5] и Yandex Translate API [6] для уточнения исходных метаданных и дополнения недостающей информации. Рассматриваемая система позволяет извлекать метаданные на основе загруженных в систему научных публикаций и формировать выходной файл XML в формате NISO JATS V1.0 [7]. Данные, которые не были указаны в статье, могут быть дополнены с помощью сервисов Google Scholar SERP API, WikiData API, ORCID API и Yandex Translate API.

Объектом исследования является автоматизация процесса формирования блока метаданных научных документов.

Предметом исследования является анализ структуры научных документов, извлечение исходных метаданных и обработка запросов к семантическим сетям.

Целью данной работы является проектирование и разработка системы извлечения и уточнения метаданных из научных документов, а также дополнения недостающих фрагментов из открытых баз данных. Для достижения поставленной цели были определены следующие задачи:

1. анализ существующих решений, извлекающих метаданные научных документов;

2. анализ открытых базы данных для уточнения и дополнения метаданных;

3. анализ сервисов машинного перевода ключевых слов и аннотаций;

4. разработка системы запросов для поиска в семантической сети информации о статье;

5. реализация метода уточнения и дополнения метаданных научных документов;

6. тестирование метода с использованием коллекции научных документов;

7. разработка программного продукта в виде десктопного приложения.

Структура настоящей работы состоит из аннотации, введения, 6 глав, списка литературы и приложения.

В первой главе содержатся основные определения и обозначения, используемые в работе. Во второй главе устанавливаются требования к разрабатываемой системе, определяются инструменты разработки и состав набора метаданных. В следующей главе проводится обзор существующих решений для перевода текста и извлечения метаданных из научных документов. В четвертой главе представлен сравнительный анализ открытых баз данных научных публикаций. Глава 5 описывает общую модель работы системы. В последней шестой главе заключена реализация системы уточнения и дополнения блоков метаданных научных документов.

АННОТАЦИЯ 3

ВВЕДЕНИЕ 4

1 ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ И ОБОЗНАЧЕНИЯ 7

2 ПОСТАНОВКА ЗАДАЧИ 9

2.1 Требования к программному решению 9

2.2 Инструменты разработки 11

2.3 Состав набора метаданных 13

3 ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ 16

3.1 Обзор существующих решений для извлечения метаданных из научных документов 16

3.2 Выбор сервиса для машинного перевода ключевых слов и аннотации20

4 ОБЗОР ОТКРЫТЫХ БАЗ ДАННЫХ НАУЧНЫХ ПУБЛИКАЦИЙ 25

5 МОДЕЛЬ РАБОТЫ ПРОГРАММНОГО РЕШЕНИЯ 28

6 РАЗРАБОТКА СИСТЕМЫ 30

6.1 Функциональные возможности 30

6.2 Архитектура проекта 36

6.3 Извлечение и формирования метаданных 37

6.4 Дополнение и уточнение метаданных 40

6.4.1 Получение данных из Google Scholar 42

6.4.2 Получение данных из WikiData 4 8

6.4.3 Получение данных из ORCID 52

6.4.4 Модуль перевода аннотаций и ключевых слов 58

ЗАКЛЮЧЕНИЕ 61

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 63

ПРИЛОЖЕНИЕ 68

1. Scimago Journal & Country Rank [Электронный ресурс]. - URL: https://www.scimagojr.com/countryrank.php. (дата обращения: 15.05.2024)

2. Берестова Т. Ф. Что скрывается за термином «Метаданные» // Вестник ЧГАКИ. - 2017. - №1 (49). - С. 9. - URL:

https://cyberleninka.ru/article/n/chto-skryvaetsya-za-terminom-metadannye. (дата обращения: 20.04.2024)

3. Google Scholar API [Электронный ресурс]. - URL: https://serpapi.com/google-scholar-api. (дата обращения: 15.05.2024)

4. Wikidata: REST API [Электронный ресурс]. - URL: https://www.wikidata.org/wiki/Wikidata:REST_API. (дата обращения: 15.05.2024)

5. ORCID. Public API [Электронный ресурс]. - URL: https://info.orcid.org/documentation/features/public-api. (дата обращения: 15.05.2024)

6. Yandex Cloud. Yandex Translate API [Электронный ресурс]. - URL: https://yandex.doud/ru/services/translate. (дата обращения: 15.05.2024)