Маркетинг, банковское дело, финансы и экономика

Расчет коэффициента коркордации, равно как и формальные оценки для экспертов непременно вводятся в отчеты, поскольку являются убедительным для заказчиков подтверждением компетентности и добросовестности авторов. Между тем в изложенных расчетах накоплены методические погрешности, для многих задач чрезмерные.

Прежде всего, оценка компетентности экспертов, это тема вовсе не совпадающая с целями исследований. На достоверность оценок экспертов влияет ряд факторов, среди которых компетентность может не доминировать. Коэффициент конкордации не имеет связи с погрешностями оценок, им пользуются интуитивно, без объективного обоснования.

Для объективного контроля экспертных оценок необходимы данные о погрешностях, достаточные для эмпирической функции распределения. Функция распределения погрешностей экспертных оценок строится аналогично всем прочим, определяющим точность, и доступна расчетам с заданной достоверностью.

Оценки экспертов признаются равноценными во всех операциях их совместной обработки. В качестве исходной принимается “презумпция невиновности” эксперта в ошибке. Погрешности экспертных оценок определяются в основном при наличии количественных признаков, которые можно предъявить экспертам в форме вопросов, а затем точно определить. Такие вопросы можно рассматривать в качестве образцовых мер. При отсутствии таковых недоступна определению систематическая погрешность экспертных оценок. Случайная погрешность определима без образцовой меры. Необходимым условием является численная оценка с числом градаций не менее 10.

Каждая градация должна быть статистически значимой. Если к примеру 20 экспертов ставит десятибалльные оценки так, что баллы от 1 до 7 не используются вовсе, придется признать их оценки трехбалльными – 8, 9, 10. Затем ввести десятичные доли, как у гимнастов и повторить оценки. Требуется не менее четырех градаций, используемых экспертами, не реже, чем дважды для 20 оценок каждая.