Система автоматического формирования блока метаданных научных документов с использованием открытых баз данных

Ежегодно в мире происходит закономерный прирост объема знаний, появляются новые открытия и научные достижения. По данным Scopus, в 2023 году количество научных публикаций только в России достигло 1,7 млн [1]. По мере увеличения объема информации возрастает потребность в ее обработке и хранении. А для этого требуются структурированные описания этих данных - метаданные. Помимо автоматизированных систем, работающих с обработкой данных, они нужны также для создания пользователями запросов, анализа данных и интерпретации их содержимого. В некоторых источниках также упоминается их ключевая роль в обеспечении технических стандартов и правил генерации записей, что значительно упрощает процесс работы с данными [2].

Однако метаданные могут содержать ошибки и неточности по разным причинам (например, в случаях, когда авторы имеют одно и то же полное имя). Ручное формирование блока метаданных также требует некоторых временных затрат.

В рамках текущего исследования для решения упомянутых проблем реализуется система автоматического формирования блока метаданных научных документов на основании полученных данных с помощью Google Scholar SERP API [3], WikiData API [4], ORCID API[5] и Yandex Translate API [6] для уточнения исходных метаданных и дополнения недостающей информации. Рассматриваемая система позволяет извлекать метаданные на основе загруженных в систему научных публикаций и формировать выходной файл XML в формате NISO JATS V1.0 [7]. Данные, которые не были указаны в статье, могут быть дополнены с помощью сервисов Google Scholar SERP API, WikiData API, ORCID API и Yandex Translate API.

Объектом исследования является автоматизация процесса формирования блока метаданных научных документов.

Предметом исследования является анализ структуры научных документов, извлечение исходных метаданных и обработка запросов к семантическим сетям.

Целью данной работы является проектирование и разработка системы извлечения и уточнения метаданных из научных документов, а также дополнения недостающих фрагментов из открытых баз данных. Для достижения поставленной цели были определены следующие задачи:

1.   анализ существующих решений, извлекающих метаданные научных документов;

2.   анализ открытых базы данных для уточнения и дополнения метаданных;

3.     анализ сервисов машинного перевода ключевых слов и аннотаций;

4.   разработка системы запросов для поиска в семантической сети информации о статье;

5.   реализация метода уточнения и дополнения метаданных научных документов;

6.     тестирование метода с использованием коллекции научных документов;

7.     разработка программного продукта в виде десктопного приложения.

Структура настоящей работы состоит из аннотации, введения, 6 глав, списка литературы и приложения.

В первой главе содержатся основные определения и обозначения, используемые в работе. Во второй главе устанавливаются требования к разрабатываемой системе, определяются инструменты разработки и состав набора метаданных. В следующей главе проводится обзор существующих решений для перевода текста и извлечения метаданных из научных документов. В четвертой главе представлен сравнительный анализ открытых баз данных научных публикаций. Глава 5 описывает общую модель работы системы. В последней шестой главе заключена реализация системы уточнения и дополнения блоков метаданных научных документов.

АННОТАЦИЯ                                                                                               3

ВВЕДЕНИЕ                                                                                                   4

1    ОСНОВНЫЕ ОПРЕДЕЛЕНИЯ И ОБОЗНАЧЕНИЯ                           7

2     ПОСТАНОВКА ЗАДАЧИ                                                                        9

2.1    Требования к программному решению                                             9

2.2     Инструменты разработки                                                                 11

2.3    Состав набора метаданных                                                               13

3     ОБЗОР СУЩЕСТВУЮЩИХ РЕШЕНИЙ                                           16

3.1    Обзор существующих решений для извлечения метаданных из научных документов                                                                                               16

3.2    Выбор сервиса для машинного перевода ключевых слов и аннотации20

4     ОБЗОР ОТКРЫТЫХ БАЗ ДАННЫХ НАУЧНЫХ ПУБЛИКАЦИЙ 25

5     МОДЕЛЬ РАБОТЫ ПРОГРАММНОГО РЕШЕНИЯ                        28

6     РАЗРАБОТКА СИСТЕМЫ                                                                   30

6.1    Функциональные возможности                                                         30

6.2    Архитектура проекта                                                                        36

6.3    Извлечение и формирования метаданных                                       37

6.4    Дополнение и уточнение метаданных                                              40

6.4.1   Получение данных из Google Scholar                                            42

6.4.2    Получение данных из WikiData                                                   4 8

6.4.3    Получение данных из ORCID                                                        52

6.4.4    Модуль перевода аннотаций и ключевых слов                            58

ЗАКЛЮЧЕНИЕ                                                                                           61

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ                               63

ПРИЛОЖЕНИЕ                                                                                           68

1.    Scimago Journal & Country Rank [Электронный ресурс]. - URL: https://www.scimagojr.com/countryrank.php. (дата обращения: 15.05.2024)

2.    Берестова Т. Ф. Что скрывается за термином «Метаданные» // Вестник ЧГАКИ. -                          2017.    -      №1     (49).     - С. 9.               - URL:

https://cyberleninka.ru/article/n/chto-skryvaetsya-za-terminom-metadannye. (дата обращения: 20.04.2024)

3.    Google Scholar API [Электронный ресурс]. - URL: https://serpapi.com/google-scholar-api. (дата обращения: 15.05.2024)

4.    Wikidata: REST API [Электронный ресурс]. - URL: https://www.wikidata.org/wiki/Wikidata:REST_API. (дата обращения: 15.05.2024)

5.    ORCID. Public API [Электронный ресурс]. - URL: https://info.orcid.org/documentation/features/public-api. (дата обращения: 15.05.2024)

6.    Yandex Cloud. Yandex Translate API [Электронный ресурс]. - URL: https://yandex.doud/ru/services/translate. (дата обращения: 15.05.2024)