Архив сентября, 2008

Контроль качества данных

Вторник, 30 сентября 2008

Контроль работы интервьюеров производится выборочно, путем надзора за их работой или проверки результатов работы. Проверяющий может незаметно подключаться к телефонной линии, либо присутствовать при опросах… Иногда ищут опрошенных респондентов и повторно их опрашивают.
Обучение интервьюеров проводятся на семинарах с разыгрыванием ролей и пробным заполнением анкет. Для респондентов применяют стимулирование, типа подарков или лотерей. Пробуждают интерес респондентов к вопросам, устраняют фрагменты анкет, негативно воспринимаемые. Во многих случаях вводят в анкету градацию 'отказываюсь отвечать'.

Методические погрешности при сборе данных

Вторник, 30 сентября 2008

Ошибки интервьюеров при сборе данных обычно называют 'не выборочными'. Подразумеваются ошибки систематические, которые, наряду со случайными, сопровождают все измерения, включая анкетирование. В состав этих ошибок входят:

1. Выбор единиц совокупности, которые не должны входить в выборку;

2. Отсутствие единиц совокупности, которые должны входить в выборку;

3. Наличие элементов, которые не относятся к изучаемой совокупности, но введены в учет при обработке данных;

4. Исключение из выборки тех, кто отказался отвечать или не ответил по телефону;

5. Оценки ложные, вместо респондента;

6. Ошибки при записи и обработке данных.

Ошибки классифицируют на преднамеренные и непреднамеренные, сделанные респондентами или интервьюерами, адресованные на этапы сбора данных, обработки или интерпретации.
Преднамеренные ошибки интервьюера могут быть обманом (сам заполнил Банкету) или давлением на респондента (мимика, подсказки, жесты).
Непреднамеренные ошибки вызваны, в основном, незнанием всех аспектов методики сбора данных, а также утомлением интервьюеров.
Ошибки респондентов обусловлены нежеланием отвечать на часть вопросов (о доходах, возрасте и т.п.) или недоверием к интервьюеру, а также занятостью, предубеждением к опросам.
Внимание к ответам может быть недостаточным из-за отсутствия мотивации, неясности вопросов или концентрации мыслей на других темах.

Обоснование методики сбора данных

Вторник, 30 сентября 2008

Алгоритм сбора и обработки данных определяет степень представительности выборки и поэтому нуждается в согласовании, наряду с объемом.
Данные могут быть собраны исследователем или специально организованной группой. Могут быть привлечены коммерческие фирмы, принимающие заказы на сбор данных.

Если собирают данные сотрудники предприятия, например, маркетинговой службы, то их состав ограничен. Возможности предприятия не выходят за границы региона. С другой стороны, сведения о самом предприятии могут быть исчерпывающими.

Специальные группы комплектуются из лиц, неограниченных по составу, нА-пример, студентов. Группы могут быть эффективны для телефонного или персонального опроса.

Однако им часто не достает квалификации и, к сожалению, заинтересованности в объективной информации. Велик соблазн 'помочь' респондентам. Необходим контроль собираемых данных c диагностическими опросами, а также тренировоч-ные занятия.

У профессиональных фирм обычно есть опыт маркетинговых исследований, есть кадры с достаточным уровнем подготовки, возможности исследований без географических ограничений с относительно высокой скоростью.
Стоимость услуг таких компаний в три-пять раз превышает затраты на маркетинговую “самодеятельность”.

Доверительный интервал.

Вторник, 30 сентября 2008

Доверительный интервал – воспринимается всеми, как область, содержащая известную долю реализаций (единиц) внутри заданных границ. Маркетологи применяют всего два типа границ – на уровнях доверительных вероятностей 0,95 и 0,99. Им соответствует расчетное число Z – 1,96 и 2,56.

Для понимания полученных результатов предлагается вообразить 100 выборок, данные которых разместились в заданных интервалах и только 5 или 1 из них стали ' нарушителями'. В исследованиях есть всего одна выборка. “Экономия” на выборках вносит ошибку. Рассчитывается среднее квадратическое отклонение этой ошибки, зависящее в основном, от объема выборки.

'Сюрпризы' изучаемых совокупностей могут быть учтены исключительно по функциональным оценкам, по доверительным интервалам для эмпирических распределений. Однако для “плотных” оценок, при планировании исследований, приемлемы ориентировочные формулы – для представительных выборок из совокупностей с нормальным распределением.

Обоснование объема выборки.

Вторник, 30 сентября 2008

Объем выборки вносит основной вклад в затраты времени и средств на маркетинговые исследования и поэтому является темой сложных дискуссий между заказчиками и исполнителями.

Стремление минимизировать объемы выборок сопровождается требованиями всемерно повышать их представительность. Особое внимание уделяется условиям сбора и обработки данных.

Однако встречаются ситуации, в которых объемы выборок явно избыточны. Причинами тому являются традиции или реклама.
Избыточность объема не всегда повышает представительность, многие По-грешности проявляются при любом объеме.

Маркетологи применяют несколько методик выбора объема выборки:

1. Правило 'большого пальца'. Принимается, к примеру, объем, составляющий 5% от совокупности, просто потому, что “5” ассоциируется с “отлично”.

2. Ссылки на публикации. Учитывается опыт аналогичных исследований, проведенных раньше. Регулярные исследования оптимизируют объем, например на уровне 3000 человек.

3. Расчет, исходя из выделенных на исследования ресурсов.

Расчетное обоснование объема базируется на достоверности оценок и рисков принятых решений в качестве исходных данных.

Предполагается взаимопонимание между заказчиками и исполнителями.
Вариация – понятие, применяемое маркетологами для оценок 'схожести' и 'несхожести' ответов в анкетах. В качестве меры для разноголосицы респондентов принято среднее квадратическое отклонение (СКО). Часто используются архаичные термины, типа 'кривых распределения', подразумевающие функции распределения плотностей вероятности, которые аксиоматически непрерывны. Сужение понятия в конкретной задаче нуждается в предварительном согласовании.

Контур выборки.

Вторник, 30 сентября 2008

Контуром выборки является телефонный справочник. Не ответил абонент, надо звонить следующему по списку. Рассылка почтой планируется, исходя из “нормы” – 5% присылающих ответы, поэтому надо посылать в 20 раз больше анкет, чем требуется для обработки данных. Повторную выборку комплектуют, когда слишком много отказов отвечать.

Методика исследований корректируется по мере проявления факторов, определяющих достоверность оценок. Однако эта коррекция осуществляется без обратной связи. Рассмотренная задача напоминает выбор колера для окрашивания стен. У хороших красок (статистических ансамблей) цвет не зависит от объема, так что можно смешать в баночке пигменты и связующее (выборку) будучи в уверенности, что полученный при пробном окрашивании цвет точно повторится на стенах (представительность). В реальности нередки “сюрпризы”, неучтенные факторы могут быть доминирующими и цвета “уплывают”.

Тяжело учиться? - Закажи диплом о высшем экономическом образовании! И сразу в бой!

Расчет коэффициента коркордации.

Вторник, 30 сентября 2008

Расчет коэффициента коркордации, равно как и формальные оценки для экспертов непременно вводятся в отчеты, поскольку являются убедительным для заказчиков подтверждением компетентности и добросовестности авторов. Между тем в изложенных расчетах накоплены методические погрешности, для многих задач чрезмерные.

Прежде всего, оценка компетентности экспертов, это тема вовсе не совпадающая с целями исследований. На достоверность оценок экспертов влияет ряд факторов, среди которых компетентность может не доминировать. Коэффициент конкордации не имеет связи с погрешностями оценок, им пользуются интуитивно, без объективного обоснования.

Для объективного контроля экспертных оценок необходимы данные о погрешностях, достаточные для эмпирической функции распределения. Функция распределения погрешностей экспертных оценок строится аналогично всем прочим, определяющим точность, и доступна расчетам с заданной достоверностью.

Оценки экспертов признаются равноценными во всех операциях их совместной обработки. В качестве исходной принимается “презумпция невиновности” эксперта в ошибке. Погрешности экспертных оценок определяются в основном при наличии количественных признаков, которые можно предъявить экспертам в форме вопросов, а затем точно определить. Такие вопросы можно рассматривать в качестве образцовых мер. При отсутствии таковых недоступна определению систематическая погрешность экспертных оценок. Случайная погрешность определима без образцовой меры. Необходимым условием является численная оценка с числом градаций не менее 10.

Каждая градация должна быть статистически значимой. Если к примеру 20 экспертов ставит десятибалльные оценки так, что баллы от 1 до 7 не используются вовсе, придется признать их оценки трехбалльными – 8, 9, 10. Затем ввести десятичные доли, как у гимнастов и повторить оценки. Требуется не менее четырех градаций, используемых экспертами, не реже, чем дважды для 20 оценок каждая.

Анализ экспертных оценок

Вторник, 30 сентября 2008

Последующая обработка таблиц с экспертными оценками, приводится во многих учебных пособиях и теоретических источниках, как правило, в сопровождении пространных и сложных вычислений. Для практических задач сложные расчеты, обычно, избыточны, поскольку привносят риск ошибочной трактовки результатов. Выводы по таблице с экспертными оценками, могут быть корректными без длинных формул.
Упрощения можно начать с коэффициента конкордации, заменив его мерами погрешностей экспертных оценок.

Для определения погрешностей экспертных оценок рационально ввести побольше градаций по заданному событию – не менее 10. Задача эксперта – назвать самый привлекательный для покупателей товар и самую приемлемую цену. В дальнейшем, нужно, провести опрос покупателей по аналогичной тематике и найти разности.

Достоверность оценки.

Вторник, 30 сентября 2008

Считается, что наличие нескольких 'оценщиков' повышает достоверность оценки.

На первом этапе с экспертами обсуждается индивидуально модель объекта, её показатели, уточняются формулировки и терминология в анкетах, форма таблиц с экспертными оценками и состав группы.
На втором этапе экспертам направляются анкеты с пояснительным письмом, в котором приведены цели работы, структура анкет и порядок их заполнения с примерами.

При возможности личного контакта экспертов возможны устные обсуждения всех вопросов. Однако самостоятельное заполнение анкет обязательно при соблюдении всех правил анкетирования. На третьем этапе производится сбор анкет, обработка данных и анализ полученных результатов. Наличие неких рангов для экспертов, очевидно, повышает достоверность оценок в некоторых задачах. Однако нужно учесть, что эксперты, отнесенные к 'низким' кастам могут не воспринимать всерьёз заполнение таблиц, смысл группы исчезает.
Можно вообразить выборы, скажем, мэра, в которых пенсионер с уровнем 0,1, а политолог с 1. Мэр, возможно, найдется самый удачный, но основная часть избирателей не пойдет на выборы.

Важно уточнить особенности субъективных оценок в качестве измерительного средства. Это средство неточное, например, ±20%, как уже отмечалось. Но оно может быть чувствительным, если проявляется при сравнении идентичных объектов. Сравнивая, к примеру, два утюга, эксперт может уловить самое малое преимущество одного, но баллы одному утюгу содержат неизбежные, значительные погрешности.

Степень компетентности экспертов.

Вторник, 30 сентября 2008

Во многих методиках введены степени компетентности экспертов. Ситуация напоминает акционерное собрание – вклад в решение определяется числом акций у каждого участника. Массы бедных акционеров попросту не участвуют в собраниях, не видя смысла в своих голосах. И эксперты в группе не должны быть слишком разными по опыту.

Научно-технические семинары гораздо демократичнее - все голоса равны: и маститого академика, и молодого специалиста.

Самая главная в стране группа - это Государственная Дума. Там у депутатов равные голоса и неизвестны идеи насчет селекции депутатов по степени компетентности. Хотя что-то в этом есть.

Оценивают экспертов по десятибалльной шкале – это уровень теоретической подготовки, практический опыт, кругозор – hj.

Кто именно оценивает экспертов, обычно не уточняется, возможно, есть высшая инстанция как в судах.

Кроме того, сами эксперты самооцениваются – это субъективный показатель hi..

По этой оценке эксперт сам себе ставит баллы:
10 – специализация по данному вопросу, наличие законченных разработок – научные или практические, совпадение со служебной работой;
8 – в практических работах по теме участвует, но с узкой специализацией не совпадает;
5 – смежная область деятельности;
3 – знакомство с вопросом только по литературе.

Итак предполагается, что отсутствие специалиста, имеющего достаточный опыт и знания по рассматриваемому вопросу, компенсируется тремя читателями специальной литературы.

Все баллы делят на сто, после чего 0≤ hj≤1 трактуется как вероятность достоверной оценки экспертов.

Иногда применяют оценки экспертами друг друга. В отличие от кумушек у подъездов они выставляет баллы.

Поиск :

Rambler's Top100