21 вариант - Задание. Метод "Дельфи"

ПОЛНОЕ ЗАДАНИЕ В ДЕМО ФАЙЛЕ,

Часть для поиска дублирую ниже ---->

Вариант 21

Оценки показателей опрошенных экспертов и коэффициент самооценки эксперта

Номер объекта экспертизы Оценки экспертов

1 2 3 4 5 6 7 8 9 10

О1 1 7 8 10 7 10 5 5 9 3

О2 3 4 5 8 5 3 8 8 5 7

О3 8 3 2 5 6 5 7 4 6 2

О4 4 2 1 3 4 9 1 2 3 5

О5 10 10 4 7 8 10 10 5 10 6

Коэффициент самооценки эксперта 9 8 8 7 10 9 10 6 8 7

Метод Дельфи

Экспертными оценками называют группу методов, используемых для оценивания сложных систем на качественном уровне. 

При использовании экспертных оценок обычно предполагается, что мнение группы экспертов надежнее, чем мнение отдельного эксперта. 

Алгоритм организации экспертных опросов приведен на рисунке 1.

Рисунок 1 – Алгоритм организации экспертных опросов

В качестве одного из методов повышения согласованности экспертных оценок применяют метод «дельфийского оракула», или метод «Дельфи», на основе идей которого сформировался ряд модификаций.

Метод Дельфи позволяет с помощью нескольких последовательных голосований прийти к наилучшему по данному вопросу решению. При этом голосования анонимные, что "исключает влияние толпы". Метод реализуется следующим образом.

1. Ставится задача, т.е. формулируются вопросы, на которые нужно ответить. При этом ответ должен выражаться численно.

2. Отбирается экспертная группа – группа людей (обычно 10 или больше), которые являются специалистами в данной области. Они и будут голосовать.

3. Проводиться первый тур голосования. При этом эксперты:

– выставляют оценку себе (самооценка). Это численное значение из заранее определённого диапазона, которое показывает, насколько объективным или весомым считает своё мнение эксперт;

– даёт численную оценку по вопросу голосования. Оценка может быть, как из какого-то диапазона, так и без ограничений. Например, при оценке качества, какого - то фактора может быть введена шкала баллов от 0 до 10 – это оценка с ограничениями.

Комментарий. Эксперт должен как можно подробнее обосновать своё мнение, почему он поставил именно эту оценку.

4. После этого аналитическая группа проводит анализ данных. Вычисляются:

– среднегрупповая оценка. Число, равное среднему арифметическому всех самооценок;

– простая оценка. Среднее арифметическое всех поставленных оценок;

– средневзешенная оценка. Эта оценка вычисляется как сумма произведений оценки эксперта на его самооценку и делённая на сумму всех самооценок;

– медиана. Для вычисления медианы упорядочиваются все оценки по возрастанию и выбираются две средние по номеру (скажем, если оценок всего 10, то берётся 5-я и 6-я, если 11 то два раза берётся 6-я) оценки, высчитывается их среднеарифметическое. Это и будет медиана;

– высчитывается доверительный интервал. Для этого считаются так называемые квартили – 1/4 от разницы между максимальной оценкой и минимальной. Нижней границей доверительного интервала будет (минимум + квартиль), верхней (максимум - квартиль).

5. Далее всем экспертам рассылаются результаты. Они изучают их, в частности комментарии других экспертов. Проводится второй тур, в котором эксперт может, как остаться при своём мнении, так и поменять его. Свою новую оценку эксперт должен прокомментировать.

6. По новым данным вновь вычисляются все характеристики из пункта 4. пункты 4 - 6 повторяются до тех пор, пока эксперты не придут к согласованному мнению. Критерием этого может быть, например, длина доверительного интервала - как только он станет меньше, чем заранее заданная величина голосование прекращается.

Пример использования метода Дельфи. Оценить пять проектов, предложенных к внедрению. Были приглашены 10 экспертов. Каждый эксперт получил анкету с описанием проектов. Туры проводить до тех пор, пока доверительный интервал будет больше 1. Экспертам предложено:

– дать себе индивидуальную самооценку в баллах в диапазоне от 0 до 10;

– оценить уровень проекта в баллах в диапазоне от 1 до 5.

Каждый эксперт работает самостоятельно и анонимно. После 1-го тура от экспертов были получены следующие результаты:

Номер 

проекта Оценка эксперта

1 2 3 4 5 6 7 8 9 10

1 4 5 4 4 3 3 4 5 3 5

2 3 3 2 3 4 4 3 3 4 4

3 2 2 1 2 2 1 2 3 3 4

4 5 5 4 5 5 3 4 5 4 5

5 1 1 3 1 1 2 2 3 3 3

Коэффициент самооценки эксперта 10 8 10 7 8 10 6 8 7 9

После этого аналитическая группа провела анализ данных. Вычислены: 

– среднегрупповая самооценка – сумма коэффициентов самооценки по отношению к количеству экспертов 

(10+8+…+9) / 10 =83 / 10 = 8,3;

– среднее значение оценки проекта (простая оценка) – сумма оценки проекта по отношению к количеству экспертов (на примере первого проекта)

(4+5+4+4+3+3+4+5+3+5) / 10 = 40 / 10 = 4,0;

– средневзвешенная оценка спроса – сумма произведений коэффициента самооценки на оценку спроса по отношению к сумме коэффициентов самооценки

(10∙4+8∙5+10∙4+7∙4+8∙3+10∙3+6∙4+8∙5+7∙3++9∙5) / (10+8+…+9) =

= 332 / 83 = 4,0

Оценки экспертов по уровню спроса расположим по возрастанию

3; 3; 3; 4; 4; 4; 4; 5; 5; 5.

Медиана в данном случае при четном числе экспертов рассчитывается как среднеарифметическое значение между серединными оценками и будет равна Ме = (4+4) / 2=4.

Область доверительности рассчитается следующим образом:

1. определяется минимальная оценка из набора экспертизы – 3;

2. максимальная оценка – 5;

3. квартиль будет равна (5 - 3) / 4= 0,5.

4 найдем нижнюю границу доверительной области

Qн = 3 + 0,5 = 3,5

и верхнюю границу доверительной области 

    Qв = 5 – 0,5 = 4,5.

Соответственно доверительный интервал (Qн ; Qв) = (3,5; 4,5) и, значит, первый тур уже соответствует поставленному критерию (доверительный интервал не больше 1).

В противном случае, необходимо провести второй тур:

– все полученные результаты предлагаются на рассмотрение экспертам. Они изучают их, в том числе комментарии других экспертов. Во втором туре эксперт может, как остаться при своем мнении, так и поменять его. Эксперты передают свои коррективы аналитической группе, причем свою новую оценку эксперт должен прокомментировать;

– далее аналитическая группа рассчитывает все характеристики по тому алгоритму, который был рассмотрен выше.

Итоговое обобщенное мнение является основой для оценки проекта.

Можно дополнить исследование проверкой согласованности мнений экспертов, используя коэффициент конкордации Кендалла.

Нередко при обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации Кендалла W (от лат. concordare – привести в соответствие, упорядочить), который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Коэффициент получил имя ученого предложившего данный алгоритм расчетов. Его значение находится в пределах 0≤W≤1; W=0, означает полную противоположность, а W=1 – полное совпадение результатов ранжирования. Практически достоверность считается хорошей, если W=0,7÷0,8.

В данном примере определяется степень согласованности мнения десяти экспертов по результатам ранжирования пяти проектов.

Таблица данных для оценки согласованности мнений десяти экспертов

Номер 

проек-та Оценка эксперта Сум-ма ран-гов Откло-нение от сред-него Квадрат откло-нения 

1 2 3 4 5 6 7 8 9 10

1 4 5 4 4 3 3 4 5 3 5 40 8 64

2 3 3 2 3 4 4 3 3 4 4 33 1 1

3 2 2 1 2 2 1 2 3 3 4 22 -10 100

4 5 5 4 5 5 3 4 5 4 5 45 13 169

5 1 1 3 1 1 2 2 3 3 3 20 -12 144

Сумма

S 160 478

Сред-нее число 32

Для вычисления коэффициента конкордации последовательно заполним столбцы таблицы:

1. вычисляем сумму рангов, соответствующую каждому проекту и результаты записываем в столбец «Сумма рангов»;

2. вычисляем среднеарифметическое число рангов:

Rср = (40 + 33 + 22 + 45 + 20) / 5 = 160 / 5 = 32;

3. находим отклонения суммы рангов, соответствующей каждому проекту от среднеарифметического числа рангов Rср = 32 и результаты записываем в столбец «Отклонение от среднего»;

4. находим квадраты отклонений от среднего и записываем результаты в столбец «Квадрат отклонения»;

5. вычисляем сумму квадратов отклонений от среднего: 

S = 64 + 1 + 100 +169 + 144 = 478;

6. вычисляем величину коэффициента конкордации по формуле: 

W = 12∙S / (n2∙ (m3 – m))

где S - сумма квадратов отклонений от среднего значения;

   n - число экспертов;

   m – число проектов.

W = 12∙478 / (100∙(125 - 5)) = 0,478;

Коэффициент конкордации изменяется в диапазоне 0 < W < 1, причем 0 – полная несогласованность, 1 - полное единодушие.

7. для оценки значимости коэффициента конкордации используют критерий Пирсона, который рассчитывают по формуле 

 набл = n∙ (m -1) ∙W = 10∙ (5 – 1) ∙0,478 = 19,12.

На уровне значимости  для к = m -1 = 4 степени свободы найдем табличное значение  = 9,5. Так как  набл больше , то нулевую гипотезу о случайности совпадений мнений экспертов следует считать отвергнутой, а степень согласованности мнений экспертов W = 0,478 значимой.

Задание. По заданию руководства фирмы анализировались пять проектов, предложенных к внедрению. Используя метод Дельфи, осуществить оценку пяти проектов и по результатам оценок определить степень согласованности мнения десяти экспертов. 

Были приглашены 10 экспертов. Каждый эксперт получил анкету с описанием проектов. Экспертам предложено:

- дать себе индивидуальную самооценку в баллах в диапазоне от 1 до 10;

- оценить уровень проекта в баллах в диапазоне от 1 до 10.

Каждый эксперт работает самостоятельно и анонимно. После 1-го тура от экспертов были получены следующие результаты: