Главная Обратная связь

Дисциплины:






Установление степени согласованности мнений экспертов



 

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса.

Вариационный размах (R):

R = xmax - xmin, (7.5)

где xmax - максимальная оценка объекта;

xmin - минимальная оценка объекта.

Среднее квадратическое отклонение, вычисляемое по известной формуле:

(7.6)

где xj - оценка, данная j-ым экспертом;

m - количество экспертов.

Коэффициент вариации (V), который обычно выражается в процентах:

(7.7)

 

Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.

В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x1j, x2j, …, xnj.

Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:

(7.8)

где xij – ранг, присвоенный i-му объекту j-ым экспертом;

xik – ранг, присвоенный i-му объекту k-ым экспертом;

di – разница между рангами, присвоенными i-му объекту.

Величина может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.

 

Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации – общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:

(7.9)

где

Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.



Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.

Далее приведем примеры расчета коэффициентов и W.

 

Пример 7.1. Пусть два эксперта приписали двенадцати факторам, влияющим на успешность реализации инновационного проекта, ранги, показанные в таблице 7.1.

На основе приведенных данных рассчитайте коэффициент ранговой корреляции Спирмэна.

 

Решение.

Рассчитаем коэффициент Спирмэна, используя формулу (7.8). Промежуточные результаты расчетов (di и di2) приведены в таблице 7.1.

Таблица 7.1 - Исходные данные и промежуточные результаты расчетов примера 7.1

Фактор Ранги di di2
первый эксперт (xi1) второй эксперт (xi2)
А Б В Г Д Е З Ж И К Л М 7 8 2 1 9 3 12 11 4 10 6 5 6 4 1 3 11 2 12 10 5 9 7 8 1 4 1 -2 -2 1 0 1 -1 1 -1 -3 1 16 1 4 4 1 0 1 1 1 1 9
     

Подставляя вычисленное значение в формулу (7.8), получим:

 

Такое значение коэффициента Спирмэна свидетельствует о высокой согласованности оценок экспертов.

 

Пример 7.2. Пять экспертов проранжировали семь вариантов капиталовложений (соответствующие оценки приведены в таблице 7.2).

Проверьте согласованность ранжировок, используя коэффициент конкордации.

 

Решение.

Рассчитаем коэффициент конкордации, используя формулу (7.9). В таблице 7.2 приведены промежуточные результаты расчетов.

Таблица 7.2 - Исходные данные и промежуточные результаты расчетов примера 7.2

Варианты Эксперты Сумма рангов Отклонения от средней суммы Квадрат отклонения
I II III IV V VI VII 1 2 6 4 7 3 5 1 2 7 6 3 5 4 2 1 6 4 7 5 3 3 1 5 6 4 7 2 1 2 6 4 5 7 3 8 8 30 24 26 27 17 -12 -12 10 4 6 7 -3 144 144 100 16 36 49 9
             

Подставляя вычисленное значение в формулу (7.9), получим:

 

Такая величина W позволяет сделать вывод о том, что существует неслучайная согласованность в мнениях экспертов.

 





sdamzavas.net - 2017 год. Все права принадлежат их авторам! В случае нарушение авторского права, обращайтесь по форме обратной связи...