Установление степени согласованности мнений экспертов

В случае участия в опросе нескольких экспертов расхождения в их оценках неизбежны, однако величина этого расхождения имеет важное значение. Групповая оценка может считаться достаточно надежной только при условии хорошей согласованности ответов отдельных специалистов.

Для анализа разброса и согласованности оценок применяются статистические характеристики – меры разброса.

Вариационный размах (R):

где x_max - максимальная оценка объекта;

x_min - минимальная оценка объекта.

Среднее квадратическое отклонение, вычисляемое по известной формуле:

(7.6)

где x_j - оценка, данная j-ым экспертом;

m - количество экспертов.

Коэффициент вариации (V), который обычно выражается в процентах:

(7.7)

Специфичны подходы к проверке согласованности, используемые при оценке объектов методом ранжирования.

В этом случае результатом работы эксперта является ранжировка, представляющая собой последовательность рангов (для эксперта j): x_1j, x_2j, …, x_nj.

Согласованность между ранжировками двух экспертов можно определить с помощью коэффициента ранговой корреляции Спирмэна:

(7.8)

где x_ij – ранг, присвоенный i-му объекту j-ым экспертом;

x_ik – ранг, присвоенный i-му объекту k-ым экспертом;

d_i – разница между рангами, присвоенными i-му объекту.

Величина может изменяться в диапазоне от –1 до +1. При полном совпадении оценок коэффициент равен единице. Равенство коэффициента минус единице наблюдается при наибольшем расхождении в мнениях экспертов.

Кроме того, расчет коэффициента ранговой корреляции может применяться как способ оценки взаимоотношений между каким-либо фактором и результативным признаком (реакцией) в тех случаях, когда признаки не могут быть измерены точно, но могут быть упорядочены.

В этом случае значение коэффициента Спирмэна может быть интерпретировано подобно значению коэффициента парной корреляции. Положительное значение свидетельствует о прямой связи между факторами, отрицательное - об обратной, при этом, чем ближе абсолютное значение коэффициента к единице, тем теснее связь.

Когда необходимо определить согласованность в ранжировках большого (более двух) числа экспертов, рассчитывается так называемый коэффициент конкордации – общий коэффициент ранговой корреляции для группы, состоящей из m экспертов:

(7.9)

где

Заметим, что вычитаемое в скобках представляет собой не что иное, как среднюю сумму рангов (при суммировании для каждого объекта), полученных i объектами от экспертов.

Коэффициент W изменяется в диапазоне от 0 до 1. Его равенство единице означает, что все эксперты присвоили объектам одинаковые ранги. Чем ближе значение коэффициента к нулю, тем менее согласованными являются оценки экспертов.

Далее приведем примеры расчета коэффициентов и W.

Пример 7.1. Пусть два эксперта приписали двенадцати факторам, влияющим на успешность реализации инновационного проекта, ранги, показанные в таблице 7.1.

На основе приведенных данных рассчитайте коэффициент ранговой корреляции Спирмэна.

Решение.

Рассчитаем коэффициент Спирмэна, используя формулу (7.8). Промежуточные результаты расчетов (d_i и d_i²) приведены в таблице 7.1.

Таблица 7.1 - Исходные данные и промежуточные результаты расчетов примера 7.1

Фактор	Ранги	di	di2
первый эксперт (xi1)	второй эксперт (xi2)
А Б В Г Д Е З Ж И К Л М	7 8 2 1 9 3 12 11 4 10 6 5	6 4 1 3 11 2 12 10 5 9 7 8	1 4 1 -2 -2 1 0 1 -1 1 -1 -3	1 16 1 4 4 1 0 1 1 1 1 9

Подставляя вычисленное значение в формулу (7.8), получим:

Такое значение коэффициента Спирмэна свидетельствует о высокой согласованности оценок экспертов.

Пример 7.2. Пять экспертов проранжировали семь вариантов капиталовложений (соответствующие оценки приведены в таблице 7.2).

Проверьте согласованность ранжировок, используя коэффициент конкордации.

Решение.

Рассчитаем коэффициент конкордации, используя формулу (7.9). В таблице 7.2 приведены промежуточные результаты расчетов.

Таблица 7.2 - Исходные данные и промежуточные результаты расчетов примера 7.2

Варианты	Эксперты	Сумма рангов	Отклонения от средней суммы	Квадрат отклонения
I II III IV V VI VII	1 2 6 4 7 3 5	1 2 7 6 3 5 4	2 1 6 4 7 5 3	3 1 5 6 4 7 2	1 2 6 4 5 7 3	8 8 30 24 26 27 17	-12 -12 10 4 6 7 -3	144 144 100 16 36 49 9

Подставляя вычисленное значение в формулу (7.9), получим:

Такая величина W позволяет сделать вывод о том, что существует неслучайная согласованность в мнениях экспертов.