Определение суммарных оценок

Если используется балльная оценка (например, 5 – отлично, 4 – хорошо, 3 – удовлетворительно, 2 – неудовлетворительно), то вычисление средневзвешенной оценки вызывает некоторые сомнения, поскольку нет уверенности в том, что различные эксперты

вкладывают в эти понятия одинаковый смысл. Нет уверенности и в том, что у всех экспертов разница между отлично и хорошо такая же, как между хорошо и удовлетворительно и между удовлетворительно и неудовлетворительно. Поэтому для балльных оценок следует применять другие характеристики, например, моду (тогда результат экспертного опроса будет, например, таким: большинство экспертов оценивает положение в фирме как хорошее), медиану (пример медианной оценки: медиана оценок находится между хорошо и удовлетворительно).

При получении количественных оценок используется следующая процедура, учитывающая то, что ценность получаемых оценок зависит от опыта и интуиции эксперта.

Для определения весов используется ряд способов.

В простейшем случае все веса равны 1.

Если лицо, принимающее решения, более доверяет одним экспертам и осторожно относится к мнению других, веса могут быть различны. Таким образом, исследователь устанавливает веса на основе мнения лица, принимающего решения.

Наилучший путь повысить объективность назначения весов при повторных экспертизах – сравнить оценки каждого эксперта с действительным развитием событий. Эксперты, которые дали плохие оценки, в дальнейшем могут вообще не привлекаться к экспертизам.

Оценка экспертов исследователями, проводящими опрос. Выбирается ряд показателей, характеризующих квалификацию эксперта. Это могут быть уровень образования, опыт практической работы, широта кругозора. Каждый из показателей оценивается организаторами опроса, например, по десятибалльной шкале. Общая оценка эксперта представляет собой сумму проставленных баллов.

Самооценка. В анкету включаются вопросы об общем стаже, стаже работы по проблеме, уровне образования, занимаемой должности. Кроме того, экспертам предлагается проставить общую субъективную самооценку по десятибалльной шкале. Для каждого значения этой оценки даются пояснения, например, 10 баллам соответствует большой опыт решения проблем, сходных с данной, а 3 баллам – специализация, не связанная с данной проблемой. В США опубликован ряд работ, показывающих наличие прямой зависимости между средней самооценкой в группе экспертов и точностью прогнозов.

Оценка коллег по экспертной группе. Каждому эксперту предлагается проставить аналогичные субъективные балльные оценки своим коллегам по экспертной группе.

Каждый из приведенных методов оценки можно критиковать. Например, оценка коллег по экспертной группе будет точной только в том случае, если они хорошо знают друг друга и не имеют сугубо личной антипатии друг к другу. Поэтому иногда просто осуществляют тщательный отбор экспертов и считают их всех равнокомпетентными.