Архив рубрики ‘Анализ экспертных оценок’

Наличие размаха в оценках.

Вторник, 30 сентября 2008 |

При наличии значительного размаха в оценках, с доминированием экстремальных значений, надо уменьшить число градаций, обеспечивая статистическую значимость центра группирования погрешностей.
Оцениваемый экспертами признак должен быть доступен проверке, насколько это возможно. К примеру, оценки качества товаров по ряду признаков могут включать объемы продаж, уровни дефектности, цены и т.п. числа, прогнозируемые экспертами и определяемые в дальнейшем по фактическим данным. Все экспертные оценки вносятся на вероятностный график.

Самой типичной темой для экспертных оценок являются цена нового товара, планируемого для ввода на местный рынок, и объем продаж на неделю. Смысл оценок конкретизируется, к примеру, цена удовлетворяет не менее чем 10% потенциальных покупателей, а условия продаж приравниваются к некоторому товару, который есть в магазинах.

После пробных продаж выяснилось, что цена нового товара, при которой не менее 10% потенциальных покупателей приобретают товар, составляет СФ = 1700 руб. Таким образом, систематическая погрешность экспертов составила +100 руб., а σ - средняя квадратическая ошибка 200 руб.

Метрологическая аксиома.

Вторник, 30 сентября 2008 |

Метрологическая аксиома – ошибка измерений, определяемая с образцовой мерой, определяет ошибки измерений всех выборок из исследуемой совокупности. В данном случае вводится допущение, что если среднее квадратическое отклонение σф у избранного признака составляет 0,2 размаха, то все прочие признаки определяются с той же погрешностью.

Предполагается также, что шкалы для всех признаков,
включая качественные, выбраны корректно в равной степени, так что систематические погрешности идентичны у измерений, независимо от признака.

В отличие от измерительных средств, эксперты доступны замене в произвольной последовательности. При известных погрешностях измерений доступны объективной оценке вклады экспертов в ошибку. Здесь отклонения от аппроксимирующей прямой F(x) рассматриваются как промахи. Если некий эксперт допускает промахи неоднократно, то его полезно исключить, несмотря на его, возможно, высокую компетентность. Столь же нежелательная альтернативная ситуация когда несколько экспертов дают одинаковые оценки многократно. Повторяющиеся оценки наиболее правдоподобные, являются основанием для комплектования будущей группы экспертов.

Степень компетентности экспертов.

Вторник, 30 сентября 2008 |

Во многих методиках введены степени компетентности экспертов. Ситуация напоминает акционерное собрание – вклад в решение определяется числом акций у каждого участника. Массы бедных акционеров попросту не участвуют в собраниях, не видя смысла в своих голосах. И эксперты в группе не должны быть слишком разными по опыту.

Научно-технические семинары гораздо демократичнее - все голоса равны: и маститого академика, и молодого специалиста.

Самая главная в стране группа - это Государственная Дума. Там у депутатов равные голоса и неизвестны идеи насчет селекции депутатов по степени компетентности. Хотя что-то в этом есть.

Оценивают экспертов по десятибалльной шкале – это уровень теоретической подготовки, практический опыт, кругозор – hj.

Кто именно оценивает экспертов, обычно не уточняется, возможно, есть высшая инстанция как в судах.

Кроме того, сами эксперты самооцениваются – это субъективный показатель hi..

По этой оценке эксперт сам себе ставит баллы:
10 – специализация по данному вопросу, наличие законченных разработок – научные или практические, совпадение со служебной работой;
8 – в практических работах по теме участвует, но с узкой специализацией не совпадает;
5 – смежная область деятельности;
3 – знакомство с вопросом только по литературе.

Итак предполагается, что отсутствие специалиста, имеющего достаточный опыт и знания по рассматриваемому вопросу, компенсируется тремя читателями специальной литературы.

Все баллы делят на сто, после чего 0≤ hj≤1 трактуется как вероятность достоверной оценки экспертов.

Иногда применяют оценки экспертами друг друга. В отличие от кумушек у подъездов они выставляет баллы.

Достоверность оценки.

Вторник, 30 сентября 2008 |

Считается, что наличие нескольких 'оценщиков' повышает достоверность оценки.

На первом этапе с экспертами обсуждается индивидуально модель объекта, её показатели, уточняются формулировки и терминология в анкетах, форма таблиц с экспертными оценками и состав группы.
На втором этапе экспертам направляются анкеты с пояснительным письмом, в котором приведены цели работы, структура анкет и порядок их заполнения с примерами.

При возможности личного контакта экспертов возможны устные обсуждения всех вопросов. Однако самостоятельное заполнение анкет обязательно при соблюдении всех правил анкетирования. На третьем этапе производится сбор анкет, обработка данных и анализ полученных результатов. Наличие неких рангов для экспертов, очевидно, повышает достоверность оценок в некоторых задачах. Однако нужно учесть, что эксперты, отнесенные к 'низким' кастам могут не воспринимать всерьёз заполнение таблиц, смысл группы исчезает.
Можно вообразить выборы, скажем, мэра, в которых пенсионер с уровнем 0,1, а политолог с 1. Мэр, возможно, найдется самый удачный, но основная часть избирателей не пойдет на выборы.

Важно уточнить особенности субъективных оценок в качестве измерительного средства. Это средство неточное, например, ±20%, как уже отмечалось. Но оно может быть чувствительным, если проявляется при сравнении идентичных объектов. Сравнивая, к примеру, два утюга, эксперт может уловить самое малое преимущество одного, но баллы одному утюгу содержат неизбежные, значительные погрешности.

Анализ экспертных оценок

Вторник, 30 сентября 2008 |

Последующая обработка таблиц с экспертными оценками, приводится во многих учебных пособиях и теоретических источниках, как правило, в сопровождении пространных и сложных вычислений. Для практических задач сложные расчеты, обычно, избыточны, поскольку привносят риск ошибочной трактовки результатов. Выводы по таблице с экспертными оценками, могут быть корректными без длинных формул.
Упрощения можно начать с коэффициента конкордации, заменив его мерами погрешностей экспертных оценок.

Для определения погрешностей экспертных оценок рационально ввести побольше градаций по заданному событию – не менее 10. Задача эксперта – назвать самый привлекательный для покупателей товар и самую приемлемую цену. В дальнейшем, нужно, провести опрос покупателей по аналогичной тематике и найти разности.

Расчет коэффициента коркордации.

Вторник, 30 сентября 2008 |

Расчет коэффициента коркордации, равно как и формальные оценки для экспертов непременно вводятся в отчеты, поскольку являются убедительным для заказчиков подтверждением компетентности и добросовестности авторов. Между тем в изложенных расчетах накоплены методические погрешности, для многих задач чрезмерные.

Прежде всего, оценка компетентности экспертов, это тема вовсе не совпадающая с целями исследований. На достоверность оценок экспертов влияет ряд факторов, среди которых компетентность может не доминировать. Коэффициент конкордации не имеет связи с погрешностями оценок, им пользуются интуитивно, без объективного обоснования.

Для объективного контроля экспертных оценок необходимы данные о погрешностях, достаточные для эмпирической функции распределения. Функция распределения погрешностей экспертных оценок строится аналогично всем прочим, определяющим точность, и доступна расчетам с заданной достоверностью.

Оценки экспертов признаются равноценными во всех операциях их совместной обработки. В качестве исходной принимается “презумпция невиновности” эксперта в ошибке. Погрешности экспертных оценок определяются в основном при наличии количественных признаков, которые можно предъявить экспертам в форме вопросов, а затем точно определить. Такие вопросы можно рассматривать в качестве образцовых мер. При отсутствии таковых недоступна определению систематическая погрешность экспертных оценок. Случайная погрешность определима без образцовой меры. Необходимым условием является численная оценка с числом градаций не менее 10.

Каждая градация должна быть статистически значимой. Если к примеру 20 экспертов ставит десятибалльные оценки так, что баллы от 1 до 7 не используются вовсе, придется признать их оценки трехбалльными – 8, 9, 10. Затем ввести десятичные доли, как у гимнастов и повторить оценки. Требуется не менее четырех градаций, используемых экспертами, не реже, чем дважды для 20 оценок каждая.

Поиск :

Rambler's Top100