Определение суммарных оценок
Если используется балльная оценка (например, 5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – неудовлетворительно), то вычисление средневзвешенной оценки вызывает некоторые сомнения, поскольку нет уверенности в том, что различные эксперты
При получении количественных оценок используется следующая процедура, учитывающая то, что ценность получаемых оценок зависит от опыта и интуиции эксперта.
Для определения весов используется ряд способов.
В простейшем случае все веса равны 1.
Если лицо, принимающее решения, более доверяет одним экспертам и осторожно относится к мнению других, веса могут быть различны. Таким образом, исследователь устанавливает веса на основе мнения лица, принимающего решения.
Наилучший путь повысить объективность назначения весов при повторных экспертизах – сравнить оценки каждого эксперта с действительным развитием событий. Эксперты, которые дали плохие оценки, в дальнейшем могут вообще не привлекаться к экспертизам.
Оценка экспертов исследователями, проводящими опрос. Выбирается ряд показателей, характеризующих квалификацию эксперта. Это могут быть уровень образования, опыт практической работы, широта кругозора. Каждый из показателей оценивается организаторами опроса, например, по десятибалльной шкале. Общая оценка эксперта представляет собой сумму проставленных баллов.
Самооценка. В анкету включаются вопросы об общем стаже, стаже работы по проблеме, уровне образования, занимаемой должности. Кроме того, экспертам предлагается проставить общую субъективную самооценку по десятибалльной шкале. Для каждого значения этой оценки даются пояснения, например, 10 баллам соответствует большой опыт решения проблем, сходных с данной, а 3 баллам – специализация, не связанная с данной проблемой. В США опубликован ряд работ, показывающих наличие прямой зависимости между средней самооценкой в группе экспертов и точностью прогнозов.
Оценка коллег по экспертной группе. Каждому эксперту предлагается проставить аналогичные субъективные балльные оценки своим коллегам по экспертной группе.
Каждый из приведенных методов оценки можно критиковать. Например, оценка коллег по экспертной группе будет точной только в том случае, если они хорошо знают друг друга и не имеют сугубо личной антипатии друг к другу. Поэтому иногда просто осуществляют тщательный отбор экспертов и считают их всех равнокомпетентными.