Смещение выборки

Иногда нельзя сказать, что группы были одинаковы до проведения эксперимента. Например, утверждение типа: 60% слышавших рекламу по телевидению положительно относятся к товару, в то время как 60% не слышавших относятся отрицательно неверно, так как рекламу могли слушать

те, кто уже и без нее хорошо относился к товару и интересовался им. Они лучше запомнили, что реклама была.

Способ устранения этой ошибки – тщательный подбор объектов. Например, для оценки эффекта от выставки нового пищевого продукта в магазине экспериментальная и контрольная группы объектов выбираются среди магазинов, близких по параметрам: площади, району расположения и др. Другой способ подбора – выделение пар похожих магазинов и определение одного из каждой пары в экспериментальную группу, а другого – в контрольную.

Хорошие результаты дает также рандомизация. Она предпочтительнее, так как часто неясно, по каким параметрам подбирать пары, да и обходится дешевле.

Когда группы невелики, обычно лучше использовать подбор.

Потери в ходе эксперимента. Это исчезновение тестируемых единиц в процессе проведения эксперимента. Например, если для эксперимента было случайно выбрано 30 магазинов, но пять из них отказались участвовать в исследовании, то нельзя сразу сказать, что их отказ не изменит среднего измеренного эффекта. Требуется устранить сомнения на этот счет. Может быть, это магазины, испытывающие финансовые затруднения, и они по-другому отнеслись бы к экспериментальному воздействию.

Фактором, искажающим результат эксперимента, является и сам процесс тестирования. Он вызывает следующие эффекты:

Основной эффект тестирования заключается во влиянии априорного наблюдения на последующие наблюдения. Например, если студентам дается тест на сообразительность, то результаты повторного теста будут лучше, даже если им не сообщать о результатах первого теста (здесь О₁ влияет на О₂). Приемы, методы решения задач, тип задач будут уже знакомы. В анкете ответы на начальные вопросы влияют на последующие ответы респондента (то есть О₁ влияет само на себя).

Интерактивный эффект тестирования – влияние предварительных (априорных) измерений на эффект воздействия (О₁ влияет на Х). Если опрашиваемых попросили ответить, что они думают о некоторой марке машин, то после этого они будут замечать рекламу данной марки, интересоваться ею. Соответственно, воздействие рекламы на них будет выше, чем на людей, которых заранее не опрашивали.

Инструментальная ошибка. Любой физический прибор имеет определенную погрешность измерений. В маркетинговых исследованиях наблюдается аналогичный эффект. Так, при опросах разные интервьюеры по-разному задают вопросы. На ответы респондентов влияет даже тон, которым задается вопрос. Даже если опрос проводит один интервьюер, он не может точно повторить интервью. Он вдохновляется от хороших ответов, испытывает разочарование от плохих, устает. Наконец, не исключены и ошибки при записи ответов.