Автоматизация анализа объявлений о вакансиях в ИТ-сфере

Добрый день! Уважаемые студенты, Вашему вниманию представляется дипломная работа на тему: «Автоматизация анализа объявлений о вакансиях в ИТ-сфере»

Оригинальность работы 94%

Аннотация

В настоящей работе проведен анализ списков требований, обязанностей и условий работы в ИТ-сфере на основе текстов вакансий с российского портала поиска работы Head Hunter [1]. Сформированы и выделены списки требований, обязанностей, условий работы, релевантные вакансиям в ИТ-сфере, основываясь на использовании метода аннотированного суффиксного дерева (АСД) [2]. На основе этих списков рассчитана трех-входовая матрица релевантности «требование-обязанность-условие», а также выделены три-кластеры - такие совокупности подмножеств требований, обязанностей и условий работы, которые тесно связаны между собой. Полученные три-кластеры допускают разумную интерпретацию – они показывают типы работ, реально существующие на рассматриваемом рынке.

Работа содержит 59 страниц, 5 глав, 4 рисунка, 15 источников.

Ключевые слова — три-кластер, ИТ-вакансия, аннотированное суффиксное дерево, релевантность

Abstract

In this work we advance into the analysis of requirements, responsibilities and working conditions in IT-sphere, according to vacancy advertisement files, downloaded from the Russian recruitment web-site Head Hunter [1].

Lists of relevant requirements, responsibilities and working conditions are extracted and provided, based on the so-called «annotated suffix-tree” method [2]. Upon extraction of these lists, we compute a 3-dimensional relevance matrix for requirement-responsibility-working condition triplets and then apply tri-clustering methods to extract tri-clusters of strong interconnections.

Resulting tri-clusters are reasonably interpreted as types of vacancies at the labour market under investigation.

The work contains 59 pages, 5 chapters, 4 drawings, 15 references.

Keywords – tri-cluster, IT job advert, annotated suffix tree, relevance index

Содержание

АННОТАЦИЯ

4

ABSTRACT

5

ВВЕДЕНИЕ

6

1.  СУЩЕСТВУЮЩИЕ МЕТОДЫ РЕШЕНИЯ ЗАДАЧИ

8

1.1.

АНАЛИЗ ТРЕНДОВ ИТ-ТЕХНОЛОГИЙ САЙТА MONSTER.COM В АНГЛИИ

8

1.2.

АНАЛИЗ СОЧЕТАЕМОСТИ НАВЫКОВ В ИТ-ВАКАНСИЯХ

8

1.3.

ТЕКСТЫ ВАКАНСИЙ КАК ИСТОЧНИК ДАННЫХ

9

2.  СБОР И ИЗВЛЕЧЕНИЕ ДАННЫХ О ВАКАНСИЯХ В ИТ-СФЕРЕ

10

2.1.

ВЫБОР ИСТОЧНИКОВ ДАННЫХ

10

2.2.

ЗАГРУЗКА ФАЙЛОВ ВАКАНСИЙ

10

2.2.1.

Описание набора данных

10

2.2.2.

Структура текста вакансии

12

2.3.

ИЗВЛЕЧЕНИЕ ДАННЫХ ИЗ ТЕКСТОВ ВАКАНСИЙ

14

3.          ПОСТРОЕНИЕ МАТРИЦ РЕЛЕВАНТНОСТИ И АДАПТАЦИЯ

МЕТОДОВ ТРИ-КЛАСТЕР АНАЛИЗА

17

3.1.

ПОСТРОЕНИЕ МАТРИЦ РЕЛЕВАНТНОСТИ НА ОСНОВЕ АННОТИРОВАННЫХ

СУФФИКСНЫХ ДЕРЕВЬЕВ

17

3.1.2.

Описание метода АСД

17

3.1.3.  Удаление нерелевантных фраз из списков требований, обязанностей,

условий

18

3.1.3.  Построение двухвходовых матриц релевантности фраза - текст вакансии19

3.1.4.  Построение трех-входовой матрицы связей ТОУ

20

3.2.МЕТОДЫ ТРИ-КЛАСТЕР АНАЛИЗА

21

3.2.1.

Метод «Tricluster Box»

21

3.2.2.

Метод «Overlap»

23

4.  РАСЧЕТЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ

25

2

ЗАКЛЮЧЕНИЕ

36

БИБЛИОГРАФИЯ

37

ПРИЛОЖЕНИЕ 1

39

ПРИЛОЖЕНИЕ 2

40

ПРИЛОЖЕНИЕ 3

52

ПРИЛОЖЕНИЕ 4

53

Библиография

1.                     Работа в Москве, поиск персонала и публикация вакансий. // Head Hunter [сайт] URL: https://hh.ru/ (дата обращения 02.11.2019).

2.                     Миркин Б.Г. Черняк Е.Д., Чугунова О.Н.. Метод аннотированного суффиксного дерева для оценки степени вхождения строк в текстовые документы. [Электронный ресурс] URL: https://publications.hse.ru/articles/72365116 (дата обращения 03.02.2020).

3.                     Capiluppi A. Baravalle A. Matching Demand and Offer in On-line

Provision: a Longitudinal Study of Monster.com. [Электронный ресурс] URL: дата обращения 03.01.2020).

4.                     Monster.com [caйт] URL: https://www.monster.com/ (дата обращения

03.01.2020)

5.                     HeadHunter API [Электронный ресурс] URL: https://dev.hh.ru/ (дата обращения 14.01.2020).

6.                     Sibarani E., Scerri S., Auer S., Collarana S.. Ontology guided Job Market Demand Analysis: A Cross-Sectional Study for the Data Science field. [Электронный ресурс] URL: https://www.researchgate.net/publication/318393376_Ontology-guided_Job_Market_Demand_Analysis_A_Cross-Sectional_Study_for_the_Data_Science_field (дата обращения 03.01.2020).

7.                     Kurekova L., Thum-Thysen A., Beblavy M.. Online job vacancy data as a source for micro-level analysis of employers preferences. A methodological enquiry. [Электронный ресурс] URL: https://www.researchgate.net/publication/311453863_Online_job_vacancy_data_as_a_s ource_for_micro-level_analysis_of_employers'_preferences_A_methodological_enquiry (дата обращения 03.01.2020).

8.                     Pandas documentation [Электронный ресурс] URL: https://pandas.pydata.org/docs/ (дата обращения 14.01.2020).

9.                     Statistical Natural Language Processing with Annotated Suffix Trees [Электронный ресурс] URL: https://github.com/dmitsf/AST-text-analysis (дата обращения 14.03.2020).

10.                   Newman MEJ.. Modularity and community structure in networks. Proc Natl Acad Sci USA 103: 8577-8582 [Электронынй ресурс] URL: https://www.researchgate.net/publication/7060226_Newman_MEJ_Modularity_and_co mmunity_structure_in_networks_Proc_Natl_Acad_Sci_USA_103_8577-8582 (дата обращения 01.05.2020).

11.                Mirkin B., Kramarenko A.. Approximate Bicluster and Tricluster Boxes in the Analysis of Binary Data [Электронный ресурс] URL: https://publications.hse.ru/mirror/pubs/share/folder/1o0uwsshf3/direct/74663630 (дата обращения 01.03.2020).

12.                 Ignativ D., Gnatyshak D, Kuznetsov S., Mirkin B.. Triadic formal concept analysis and triclustering: searching for optimal patterns [Электронный ресурс] URL: https://www.researchgate.net/publication/277659428_Triadic_Formal_Concept_Analys is_and_triclustering_searching_for_optimal_patterns (дата обращения 01.03.2020).

13.                 Jaccard Index // Wikipedia [Электронный ресурс] URL: https://en.wikipedia.org/wiki/Jaccard_index (дата обращения 01.05.2020).

14.                IT_jobs_analysis [Электронный ресурс] URL: https://github.com/alenaAG/IT_jobs_analysis (дата обращения 17.05.2020).

15.                Github [Электронный ресурс] URL: https://github.com/ (дата обращения 17.05.2020).