Энциклопедия маркетинга

О девятой встрече маркетологов
Расшифрованная запись выступлений

Уважаемые коллеги!

Тема тестирования продуктов настолько велика, что за 20 минутное выступление вряд ли удастся охватить все его стороны. Мое выступление посвящено общей типологии методов, ситуациям их применения, некоторым ключевым моментам анализа и интерпретации результатов.

Итак, сегодня мы поговорим о тестировании продукта, о том, как исследования помогают продать продукт. Как говорят в General Electric"Вместо того, чтобы делать то, что вы делали всегда и потом пытаться это продать, узнайте, что будет продаваться, и сделайте это".   Что такое исследование продукта? Это довольно большая группа методов, которая позволяет нам оценивать и диагностировать его характеристики. Начиналось все это с тестов в нашем классическом понимании, как люди воспринимают продукт питания, каким он должен быть на вкус - сладкий, соленый и так далее. То есть, эти тесты были на чувственное восприятие. На основе этих тестов создавались некие панели (sensory evaluation panels), некие группы постоянных людей, которые эти продукты тестировали. Эта практика в деятельности компаний, которые занимаются продуктами питания,  собственно сохраняется, и у них есть профессиональные тестеры. Но в основном, большинство продуктов тестируются на потребителях. Нельзя или нет смысла набирать одной компанией тестеров на все свои продукты, особенно, если это десятки наименований.

В первую очередь, после того, как Вы разработали какой-то продукт, точнее не сам продукт, а его концепцию -  каким он будет в вашем представлении  - обычно получается много вариантов и Вам надо выявить, какая из этих концепций будет наиболее выигрышна. Далее, когда у Вас начинается разработка продукта, на основе этой концепции, Вы выявляете некие варианты продукта, которые являются самыми лучшими. Продукт имеет некий жизненный цикл, об этом Вы все знаете,  на неком этапе жизненного цикла продукта возникает необходимость в его модификации. Модификация этих продуктов тоже тестируется. Последняя цель, у нас в России она встречается достаточно редко, намного реже, чем на Западе, где продуктов очень много и все они конкурируют между собой - это доказать то, что Ваш продукт является оригинальным. В России пример такого рода исследования был - это, когда компания "Байер" доказывала, что «Аспирин»  не родовое название лекарства, а торговая марка.

Нам надо понять, что же мы будем тестировать. Тестируется обычно новый продукт. Понятие «нового продукта» имеет множество градаций - обычно, это совершенно новый продукт.  Например, когда-то SONY Walkman аудиоплейер «новым продуктом». Может быть и  расширение какой-то линии продуктов (Балтика 0 безалкогольное, Балтика 8 пшеничное). Далее, как только Вы перепозиционировали свой продукт - он становится «новым». Например, была сеть магазинов БИН, соответствующего Банка, теперь эта сеть называется "Петровский". Для того, чтобы понять  насколько новая сеть остается знакомой и понятной для потребителя, опять нужно протестировать.

Новая форма существующих продуктов. Например, "Кока-кола" за свою почти столетнюю историю, претерпела несколько десятков вариантов изменения своего рецепта и при этом оставалась той же самой "Кокой-колой".

Новая упаковка.  Например, "Пепси" - 0,6 и "Пепси" - 0,5 литра.

Продукт добавленной стоимости. Компания "Gilette", которая выпускает лезвия, она же выпускает лосьоны и пену для бритья. То есть, с точки зрения потребителя появляется «новый продукт». А также необходимо упомянуть промежуточные продукты, например, компания Microsoft, которая выпускает разные варианты операционной системы Windows, в частности Windows ME на самом деле не является  полноценным продуктом, а является промежуточным продуктом.

Общая процедура тестирования продукта примерно такая. Вы предъявляете продукт, далее проба, намерение его купить и общая оценка продукта. Далее, частота предполагаемой покупки, покупка вместо чего-то - продукт заменитель. Далее следует блоки вопросов об использовании этого продукта, об общей его оценки, о намерении его повторной покупки. Последнее касается тех случаев, когда Вы дали продукт на пробу. Например, шампунь даете на пробу и узнаете, намерен ли потребитель в дальнейшем его покупать. Далее такие вопросы, как предпочтение другим продуктам - для того, чтобы понять, насколько Ваш продукт близок или далек от других продуктов. Затем идет оценка отдельных характеристик продукта для того, чтобы выяснить, почему потребитель его бы приобрел.

Что может тестироваться? Тестироваться может все что угодно, начиная от самой грубой концепции, изображенной в виде каких-то рисунков до самого продукта.

Типы тестов.   Существует только два теста. Один, когда Вы показываете только один продукт и стараетесь получить оценку этого продукта. Второй, когда Вы показываете два и более продуктов и просите респондентов сравнить эти продукты. Все остальные тесты являются комбинациями. Еще одна классификация тестов может быть по тому, что мы изучаем. Мы можем изучать разницу между продуктами - здесь обязательно наличие, по крайней мере, двух продуктов, можем изучать предпочтение, признание продукта, на сколько Вы его воспринимаете, насколько не принимаете. Это может быть тест, который дает Вам некий обобщенный спрос на продукт, позволяющий сравнивать его с другим продуктом.  Причем,  в этом случае не обязательно наличие других продуктов. На что я хотел бы обратить внимание аудитории. Дело в том, что при всей простоте сравнения продуктов, есть очень большое непонимание того, как интерпретировать то, что Вы получили. Допустим, Вы сравниваете два продукта, оцениваете по какой-то шкале различия между ними. Вечный вопрос сравнительных тестов - мы можем говорить по результатам тестов о наличии различий или различия отсутствуют?

На что бы я хотел обратить Ваше внимание. Есть такая величина как уровень значимости, которая часто используется - какова вероятность, что мы не заметим различий.    Типичный уровень значимости 5%. Иногда используют уровень значимости 1%. Провели тест, получили, что продукт «А» по сравнению с контрольным продуктом по значимости отличается на 5%, а продукт «В» от контрольного отличается на  1%. Так вот, это не значит, что продукт «В» сильнее отличается от контрольного продукта, чем  продукт «А». Ничего подобного. Это говорит только о том, что вероятность неправильного решения меньше для продукта «В». На самом деле, он может не отличаться, то есть отличаться в точно такой же степени, как и продукт «А». Просто вероятность того, что он отличается от контрольного продукта, больше и, кроме этого, уровни значимости ничего не говорят о степени различия продуктов. И не интерпретируйте результаты тестов таким образом, что если у Вас уровень значимости меньше, следовательно, различия продуктов больше.

В основном мы все оперируем, когда говорим о том, различаются два тестируемых продукта между собой или не различаются, ошибками первого рода. При этом мы забываем, что кроме ошибки первого рода, которая присутствует в отчетах практически у всех компаний, существует еще  и ошибка второго рода. Я хотел бы Вам озвучить разницу между ними. Ошибка первого рода - это когда мы говорим, что мы отвергаем правильную гипотезу, хотя она объективно верна.  Но, есть еще и другая вероятность - мы  принимаем гипотезу, хотя она объективно неверна. Это ошибка второго рода. И она у нас практически не анализируется.

Критерии значимости очень сильно связаны. Если при постоянном объеме Вы при анализе уменьшаете уровень значимости a и таким образом снижаете вероятность совершить ошибку первого рода, вероятность совершить ошибку второго рода b растет. Единственный вариант, который позволяет уменьшить одновременно и a и b - это увеличивать объем выборки.

Теперь перейдем к самим тестам. Тест № 1 - это показ одного продукта (monadic). В большинстве крупных компаний этот тест применяется постоянно. Он используется в качестве некого контрольного теста. Почему? Во-первых, он симулирует реальную ситуацию. В жизни Вы не употребляете сразу два продукта - Вы используете один продукт, соответственно, реально Вы оцениваете один продукт. То есть, Вы не сидите с двумя чашками чая, и не пьете сразу чай «Ахмат» и чай «Принцесса Нури». Далее, исключается взаимовлияние, которое наблюдается практически всегда при любых тестах сравнения любых продуктов. Вторая цель Monadic тестов - это обеспечить базу для мониторинга тестируемых продуктов, точнее восприятие их потребителем. Потому что, только на основе Monadic тестов можно получить несмещенную характеристику продуктов, посмотреть, как они изменяются. Они могут изменяться под влиянием многих причин: из-за того, что у нас меняется качество продукта, из-за того что конкурент выпустил другой продукт и т.д. Но, в любом случае на основе Monadic тестов можно проследить как изменяется характеристики продукта со временем в глазах потребителя. Далее, еще одна замечательная особенность Monadic теста, это то, что не все продукты можно тестировать в сравнительных тестах. Например, когда  Вы тестируете чипсы, например, перченые чипсы. Если Вы дадите одному и тому же респонденту попробовать и то и другое, то вкус чипсов с перцем забьет любые другие более нейтральные вкусы.  Возможность сравнить два продукта сразу резко снижается.

Sequential Monadic Test. Цель - это снизить затраты на проведение тестов. Это по-моему единственная цель, которую преследует этот тест. Дело в том, что кроме эффекта снижения затрат больше никаких преимуществ у теста нет. Он дает, во-первых, подавление оценок. Когда Вы оцениваете два продукта по отдельности, но тестируете вместе, то оценка будет ниже за счет того, что один из продуктов респондент оценивает ниже. Во-вторых,  это взаимовлияние. Вы оцениваете два продукта практически одновременно и, они тем или иным образом влияют друг на друга. Один из таких эффектов зависит от порядка тестирования и оценки. Если первый у Вас лучше, то второй будет оценен непропорционально низко. Есть еще вариант, когда используют два продукта, Protomonadic тест. Он начинается как Monadic тест, респондент тестирует и оценивает один продукт, а в конце ему дают второй продукт попробовать и просят его сравнить с первым. Это тоже некая экономия средств.

Далее мы говорим о тестах сравнения. Сравниваем два продукта и определяем, какой лучше. Чем хорош этот метод? Тем, что человек  не чувствует абсолютной величины, он может только что-то с чем-то сравнивать. Поэтому, все тесты на сравнение гораздо лучше дают почувствовать разницу между свойствами, чем оценка отдельно взятых свойств. В данном случае, если у Вас есть два продукта, то Вы гораздо лучше почувствуете разницу между продуктами, чем, если бы Вы тестировали продукты по отдельности. Но этот тест имеет ряд недостатков. Первый и главный недостаток в том, что у Вас оценка этих продуктов сравнительная - насколько оценка этого продукта соответствует действительности, зависит от многих причин, у Вас может быть отклонение в плюс или минус. Еще раз подчеркну, эта оценка не является абсолютной, она несравнима с результатами других тестов.

Усовершенствованный сравнительный тест - Triangleтест. Каждому респонденту даются на пробу три продукта, из них два одинаковых. Этот тест предназначен для того, чтобы исключить тех людей, которые не  способны почувствовать разницу между продуктами, чтобы в дальнейшем не опираться на их суждение, потому что они носят случайных характер. Он должен сравнить все три продукта между собой и определить, есть ли разница и между какими образцами. Если человек четко определяет, что два продукта одинаковые, а один отличается, то его суждение для нас является достаточно ценным. Если же если этот человек говорит об отличии одинаковых продуктов или же не отличает продукт, который реально отличается, то это не тот человек, который нам нужен для того, чтобы на его основе строить дальнейший анализ.

Еще вариант этого метода - тест Duo-Trio. Это когда респонденту сначала дают попробовать контрольный образец, а затем дают два продукта, один из которых одинаков с контрольным, но респонденту не говорят какой из них. То есть, это вариант предыдущего Triangleтеста. Здесь может быть план теста с постоянным контрольным образцом или же с  равными долями контрольных и испытуемых образцов. Первый вариант применяется при ограниченном количестве какого-либо из образцов, второй позволяет снизить смещение оценок и уменьшить общее количество тестируемых образцов.

Еще одним вариантом является исследование, когда Вы тестируете как бы один продукт, но этот продукт содержит разные компоненты. Вкус продукта может быть более сладкий, более кислый или наоборот менее сладкий, менее кислый и их надо как-то оценивать. В результате тестов можно построить оптимальный с  точки зрения потребителя продукт, который, что важно подчеркнуть, оптимален не с точки зрения производителя, а с точки зрения восприятия потенциального потребителя. Конечно, порядок тестирования или иначе говоря, план эксперимента не строится произвольным образом. Существуют достаточно жесткие процедуры построения планов эксперимента, существует теория эксперимента, которая отвечает, в частности на вопрос - как правильно построить оптимальные планы. Тест по оптимизации продукта - это довольно сложный эксперимент, точно так же как эксперимент в совместном анализе, где Вы применяете достаточно большое количество атрибутов продукта и строите план эксперимента по строгим правилам. Можно сказать, что совместный анализ - это методика тестирования концепции продукта, а оптимизация продукта является второй ступенью, развитием данного метода.

Основные метрики в Monadic тестах представлены на слайдах. Обратите внимание на критерий для размеров выборки в продуктовых тестах. Для Monadic тестов следующее замечание: сколько я просмотрел качественно проведенных исследований, которые были опубликованы, везде говорится о больших выборках не менее 300 респондентов.

Тест За и Против. Показывают один продукт и показывают два продукта. Показ одного продукта дает нам наиболее неискаженную оценку продукта, наиболее расширенную диагностику потому что у Вас больше времени на то, чтобы поговорить об одном продукте и выявить отношение респондента со всех сторон. Иногда интерпретация в начале цикла жизни продукта затруднена из-за отсутствия контрольного продукта. В дальнейшем по мере накопления нормативной базы контрольными образцами для вас будут предыдущие результаты тестов. Всегда с чего-то надо начинать, если вы свой продукт собираетесь поддерживать не месяц и не год. В любом случае создавать ему нормативную базу Вам придется.

В сравнительных тестах есть свои преимущества - это меньше цена, объем выборки при сравнении большого количества вариантов и характер оценок в абсолютном значении не имеет смысла, например, вы хотите узнать, является ли модификация продукта лучше, чем оригинальный продукт.

Еще одна разновидность продуктовых тестов - это слепые тесты. Слепые тесты делаются для того, чтобы исключить влияние всех факторов, не связанных с гедонистическим восприятием продукта. Это связано с тем, что на наше восприятие оказывает существенное влияние наши знания о продукте и наш пред–установки. И если Вы будете тестировать напитки кола, какая из них лучше, то сильное влияние на результат теста оказывает именно то, что человек знает «Кока-колу», а это неизвестная марка "Тоже кола". Поэтому, очень часто в таких случаях используют именно слепые тесты. Они позволяют оценить именно восприятие самих характеристик продукта без его ауры брэнда.

Тест-маркет. Это тоже одна из разновидностей Monadic тестов. Причем она позволяет нам получить довольно большой объем информации и, как показывает статистика, тест–маркет на 2000 респондентах стоит столько же, сколько продуктовый тест на 500-600 респондентов, но зато Вы получаете не результаты в лабораторных условиях, а именно реальные продажи, поведение реальных покупателей продукта в конкурентной среде.

Несколько слов о порядке предъявления образцов - это очень  важно. Очень часто тесты делаются без картинок, без образцов, так вот там есть два разных эффекта, которые проявляются одновременно. Суть такая. Первый эффект - это эффект того, что, если  первый образец лучше, независимо как воспринимается второй продукт, значит оба будут оцениваться в лучшую сторону. Если же наоборот, то оба будут оцениваться в худшую сторону. То есть, первый продукт как бы влияет на оценку второго продукта, в плане сдвига его в лучшую или в худшую сторону. Второй эффект проявялется в том, что если оба продукта хорошо принимаются потребителями, то независимо от ротации образцов в выборке наблюдается сдвиг предпочтений к первому предъявляемому образцу.

Если сначала тестировать TIDE обычный, а затем TIDE с отбеливателем, то разница между порошками очень заметна - превосходство достигает 80% к 20%, а если сначала тестируется «Тайд» с отбеливателем, то  это соотношение падает до 55% к 45%.

И заканчивая свое выступление, хочу передать слово следующему докладчику, Ирине Шмаковой, которая более подробно расскажет нам об организации и проведении холл-тестов.

Шмакова Ирина - Заместитель генерального директора V-RATIO, руководитель проекта по исследованию рынка.

Постараюсь максимально осветить практически стороны проведения тестирования продуктов. Хочу поблагодарить коллег, которые, зная о теме готовящегося выступления, смогли поделиться своими наблюдениями по практике проведения таких исследований.

Идут активные дискуссии о том, к какой группе методов относится тестирование продуктов. С моей точки зрения, это некий симбиоз количественных и качественных методов, что очень удобно, поскольку позволяет получать как качественную информацию, так и некие количественные показатели. В своей основе любое тестирование продуктов имеет то же допущение, что и другие качественные методы  (например, фокус группы), то есть то, что размах вариаций  психологического восприятия существенно меньше, чем размах вариаций покупательского поведения. Таким образом, даже на небольших выборках мы можем, по крайней мере, понять особенности покупательского поведения.

Асхат Хасянович в конце своего выступления затронул тему о том, чем отличаются Home тест и Hall тест, я бы хотела немного дополнить его таблицу.

Безусловно, Hall тест - это быстрее и дешевле. Hall тест позволяет нам контролировать выполнение методики. Hall тест позволяет заказчику наблюдать процесс исследования. На Hall тесте позволяется применять более сложную методику, в том числе тестирование рекламы и воспроизведение ситуации покупки. На Hall тестах можно тестировать крупногабаритные образцы. Почему же такой замечательный способ не использовать для всех товаров? По многим причинам.

Home тест может заменить НALL  тест, когда:

Первое: представители целевой аудитории вообще по улицам не ходят, либо очень редки, при этом места их тусовок для вас неизвестны. Предположим, инвалиды, любители вязать, выпиливать лобзикам и так далее. Это труднодостижимая аудитория для Hall теста.

Второе: Вам жизненно необходимо соблюсти репрезентативность и, Вы сомневаетесь, что именно те, кто гуляет днем по центральным улицам составляют Вашу целевую аудиторию. При этом использовать телефонный рекрут Вы по бюджету не можете. Здесь опять Вам на помощь приходит Home тест.

Третье. Если необходимо сравнить с продуктом, которым потребитель обычно пользуется.

Четвертое. Асхат Хасянович уже говорил, что важно использование продукта в реальной обстановке. То есть, когда необходимо получить данные от потребителя об общем впечатлении от использования товара в естественных условиях. Пример, насколько удобно упаковка нового продукта помещается в стандартный холодильник средней семьи.

Пятое. Hall тест используется, когда оценка товара предполагает длительной срок его потребления. Например, соусы, средства для мытья посуды и так далее.

Шестое. Hall тест  используется, когда применение товара прилюдно невозможно по этическим соображениям (например, средства личной гигиены, туалетная бумага).

И, наконец, когда очень хочется совместить преимущество Monadic теста и сравнения продуктов.

Объем выборки. Какова выборка в Home тестах и в Hall тестах? Это зависит от многих факторов:

Чем больше образцов Вы тестируете, тем больше выборка. Один из важнейших показателей – пробуют первыми. По разным оценкам, таких должно быть не менее 150 – 300 человек. Де-факто получила распространение выборка, где группа первой пробы одного продукта составляет 50 человек.

Чем меньше разница между образцами, которые Вы тестируете, тем большее количество человек должно быть в каждой группе, для того, что бы Вы могли уловить даже самые мелкие различия. Как правило, задачи у Hall тестов и Home тестов не репрезентативное представление Вашей аудитории, а именно сравнение между собой отношения к продукту разных групп. Поэтому группа отбирается так, чтобы обеспечить сравнимость результатов не только в процентах, но и в количественном виде. Грубо говоря, количество мужчин и женщин, количество молодых и людей более старшего возраста, разбивать примерно поровну.

При Home тестах количество визитов к каждому человеку, который оценивает продукты, несколько - минимум три. Сначала Вы оставляете продукт для тестирования, потом Вы приходите к нему, оцениваете этот продукт, оставляете другой и в конце снова сравниваете. Таким образом, при каждом визите вероятность того, что Вам не откроют дверь, увеличивается. Вам нужно быть готовым к тому, что количество респондентов с каждым посещением будет уменьшаться.Поэтому при Home тестах выборку нужно закладывать, как минимум с 20% запасом.

Hall тесты. Место проведения Hall тестов и ситуация в Москве. Выбор места для проведения Hall тестов ограничено несколькими параметрами. Первое, это необходимая величина потока. Понятно, что, если по улице проходит 30-50 человек в день, то в обозримые сроки Hall тест Вам не сделать.

Второе. Место опроса также влияет очень сильно. Глупо на центральных улицах тестировать, например, пиво для низкоценовой категории. Или, около учебного заведения тестировать косметику для пожилых женщин.

Третье. Необходимость ротации помещения. Для того чтобы Ваш Hall тест дал нормальные результаты, нельзя его проводить в одном помещении. Желательно задействовать несколько точек и время от времени их менять. К сожалению, ситуация с этим в Москве не очень хорошая. Сейчас точки довольно изъезжены. Всеми и постоянно используются помещения на Никольской, Тверской, Преображенской, а также  помещения самих исследовательских организаций. Некоторые  исследователи сами отыскивают новые точки, и затем тщательно их скрывают от других компаний.

Четвертое. Стоимость. Помещение, в зависимости от Вашего бюджета, выбирается на окраине или в центре города. Разница обычно в два раза. Если помещение в центре стоит порядка 110 долларов, то помещение на окраине 50-60 долларов.

Пятое. Соответствие помещения методике. Не всегда достаточно просто одного зала, важна возможность отделять разные части для проведения разных частей интервью, наличие подсобного помещения для технической работы и хранения материалов Если Вам нужно проводить двойной рекрутмент, если Вам нужно скрыть продукт тестирования, то надо иметь еще какие-то помещения.

Шестое. Отсутствие отвлекающих факторов для респондента. Если у Вас тест проводится в магазине, то не должно быть каких-то отвлекающих запахов, звуков и так далее. Если Hall тест проводится в любом месте, то Ваша обстановка должна быть устроена таким образом, чтобы было удобно проводить интервью: идеальный вариант, когда респондент не видит и не слышит никого, кроме интервьюера. Иди хотя бы имеет возможность свободно говорить и при этом не слышать мнение других.

И наконец, организация места опроса . Должно быть техническое помещение, для хранения материалов и образцов, с которыми Вы в данный момент не работаете.

Кому проводить Hall тест? Не все заказчики знают, что рекрутер и интервьюер обычно разные люди. Но практикуется и совмещение. Разделение объясняется и разными функциями и тем, что требуются разные навыки. Как правило, интервьюер обладает больше квалификацией, более высоко оплачиваемый человек, он должен уметь лучше располагать к себе респондента. Для рекрутера же важно просто пригласить человека в помещение, где дальше с ним будут работать интервьюер.

Обеспечьте ваших рекрутеров бэджиками с названием компании, а еще лучше – с контактными телефонами. Это поможет снизить количество ситуаций, когда и хочется пожаловаться на отвратительный рекрутмент, да непонятно кому. Сами исследовательские компании в этом случае будут больше заинтересованы в поддержании репутации. Кроме этого, наличие таких бэджиков облегчает рекрутмент.

Доведите действия ваших работников практически до автоматизма. Отработайте с рекрутерами различные сценарии разговора. Отработайте с интервьюерами сценарий и последовательность действий в интервью – куда идти, как поворачиваться, какие марки открывать в какой очередности. Хорошо отработанная команда проведения холл-теста напоминает действующий конвейер или модернистский балет, поставленный современным хореографом.

Для Home теста

При Home тесте визуально контролировать интервьюеров некому. Идет самый обычный контроль, такой же, как и при других квартирных посещениях. Мы не можем проверить, как он интервьюирует респондента, насколько он хорошо задает ему вопросы, в той ли последовательности.

Огромным соблазном для интервьюера служит возможность сократить свои трудозатраты, оставив все образцы для тестирования в один раз или же дописать анкету второго/третьего теста аналогично анкете первого.

Поэтому, по возможности контролируйте количество и продолжительность посещения.

В качестве превентивной меры, для того чтобы интервьюеры не несли сразу все образцы - не давайте их все сразу, пусть они лучше еще раз приедут и возьмут второй образец. Потому что, если они оставляют все образцы сразу, то респондент, как правило, не соблюдает последовательность пробы, экспериментирует с упаковкой, со смешиванием. То есть, хороших результатов Вы не получите.

И наконец, общее правило для всех интервьюеров: Интервьюер должен принадлежать к той же социальной группе, что и опрашиваемый.

Рекрутмент на Hall тесты.

Каким должен быть рекрутмент при Home тестах? К этому моменту заказчиком предъявляется большинство претензий. Он должен быть доступным и легко выполнимым. Не загружайте интервьюера такими вещами, которые он все равно не сможет сделать. Он не сможет определить по внешнему виду, к какому социальному слою относится человек. Давайте интервьюерам небольшое количество критериев. Чем больше количество критериев, чем меньше группа, тем труднее набирать респондентов и, тем чаще рекрутеры начинают врать. Стандартно используется набор пол/возраст/активное потребление.

Давайте мелкие квоты на возраст. Это связано с неравномерным распределением возрастов опрошенных внутри возрастных квот. Например, если  возраст от 25-ти до 30-ти лет, то количество 25-ти летних в соотношении с 30-ти летними, как 3:1. То есть, распределение смещается в сторону боле младших возрастов. И так по всем возрастным группам. Поэтому лучше вместо одной квоты 26-45 лет дать четыре более мелких, распределение возрастов в этом случае будет более равномерным.

И наконец, жесткий контроль рекрутмента. Подсылайте таинственных посетителей, которые пытаются проникнуть на Hall тесты, давайте людям диктофоны, для того чтобы они записывали свой процесс рекрутмента. Чем сильнее Ваш контроль, тем  более «чистые» респонденты придут к Вам на Hall тест.

Либо вообще откажитесь от рекрутмента на улицах. В каких случаях это возможно?

Это «двойной» рекрутмент. Тогда , когда тот рекрутер, который работает на улице, приводит людей, ориентируясь только на внешние показатели - внешность, возраст, пол. При этом его оплата не зависит от того, сколько потом реально прошло на тест. Дальше, в помещении работает супервайзер, который, собственно, и отбирает нужных людей для проведения исследования. Если нужно он отбирает по более трудным вопросам - частота потребления нужного продукта, социальный статус, уровень дохода. Зарплата супервайзера не в коем случае не должна зависеть от того, какое количество людей приходит, а только от времени, которое он работал. Недостатки: необходимость превышения количества первично зарекрутированных в несколько раз, повышение стоимости опроса и необходимой площади в полтора-два раза. Некоторые исследователи считают, что такой двойной рекрут некорректен по отношению к респондентам – сначала зовут, а потом посылают, кроме этого, это существенное увеличение стоимости опроса в отношении подарков

Или телефонные рекрутмент - это применимо в тех организациях, в которых есть система CATI.Телефонный рекрутмент не очень сильно повышает, где-то раза в два-три, повышает стоимость рекрутмента, но на общую стоимость исследования он сказывается не так сильно, как иногда этого боятся. Также в этом случае повышается стоимость подарков для того, чтобы стимулировать респондентов ехать в место проведения Hall теста. Телефонный рекрутмент позволяет обеспечить очень хорошее качество пришедших на Hall тест.

Тестируемые материалы.

Очень важно, что с чем сравнивать. Когда идет Monadic тест, то понятно, что ни с  чем Вы не сравниваете, но Monadic тест у нас не очень любят проводить, а проводят в основном сравнительные тесты. При этом очень часто стоит задача: «Вот наше предприятие разработало три образца продукции - выберите из них лучший». Или, «наше рекламное агентство произвело четыре ролика, какой выбираем. С моей точки зрения мы, конечно, можем сосредоточиться на этой задаче, но при этом очень рискуем, что когда продукт выйдет на рынок и будет сравниваться с тем, что реально находится на рынке - он потерпит крах. Потому что никаких данных  о сравнении с тем, что реально находится на рынке, мы не получили. Поэтому, с моей точки  зрения, обязательно в перечень тестируемых материалов должен включаться, по крайне мере, основной конкурент.

Оценивайте реально возможности Вашего респондента. Мне рассказали такой случай, когда тестировали слабоалкогольные коктейли в количестве 5-ти штук и, все пять вкусов пробовал один респондент. В данном случае явление влияния порядка, о котором говорил Асхат, было проявлено - просто дальше некуда.

Если у продуктов тестируются вкусы, запахи, то больше двух проб тестировать крайне не желательно. Просто человек дальше перестает различать и воспринимать. Для упаковок допустимо тестировать до 3-х- 4-х образцов, больше респонденту воспринять, достаточно сложно.

Ротация. Казалось бы, совершенно элементарная вещь, но мы сталкиваемся с тем, что про это забывают. Если сравнивается два вкуса, то обязательно половина тестируемых образцов «А»  должна пробоваться в первую очередь, так же как половина образцов «В».

Перебивайте вкус. Между пробами продуктов обязательно делайте прослойку нейтральных вкусов. Обычно это питьевая или газированная вода и белый хлеб. Они, достаточно нейтральные по вкусу и, могут каким-то образом сгладить впечатление от продукта.

Количество тестируемых материалов. Обязательно делайте запас. У меня были случаи, когда тестировалось 400 образцов и, ровно 400 образцов нам принес заказчик. В результате мы не добрали выборки, потому что респондент на тестах что-то ломает, пробует много или не распробует и просит «повторить» и так далее.

И наконец, обращайте внимание на качество тестируемого материала, на сроки годности.  Сроки годности, как это не смешно говорить,  очень часто влияют на результаты тестирования. Мне рассказали случай, когда прислали из-за границы так называемый "живой йогурт", но из-за сложностей на таможне йогурт 1,5 месяца простоял на границе. И это надо было тестировать! Можно легко представить, какой результат получился.

Сравнимость.

При тестировании материалов очень важно обеспечить их сопоставимость. Упаковка должна быть без опознавательных знаков. Должна быть маркирована номерами, и не содержать никаких указаний на фирму-производителя, название и т.д. В качестве примера, я принесла средство для мытья посуды и сигареты. Правда, надпись, что «курение опасно для здоровья» все равно сохранена. Для проведения теста либо заранее готовится небольшие обезличенные упаковки, либо закупается партия в местной торговой сети и этикетки отклеиваются/маскируются – в таком случае важна еще и форма самой упаковки. Даже, если Вы заклеили название продукта, совсем не факт, что потребитель не опознает его по упаковке. В мой практике был случай, когда требовалось тестировать зубную пасту, заказчик покупал зубную пасту основного конкурента, выдавливал ее из тюбика и упаковывал в упаковки без опознавательных знаков.

Все тестируемые продукты каждой группы должны быть изготовлены на одном и том же заводе, и быть из одной партии выпуска. Образцы из разных партий могут существенно повлиять на результаты тестирования, так как нас еще нет, по многим продуктам, стабильного качества.

Определенная, одинаковая температура и консистенция, в момент сравнения  - тоже очень важная вещь. Не всегда помещение для проведения Hall теста оборудовано холодильником. Даже в 95% случаях не оборудованы. Обычно продукт охлаждают в холодильниках исследовательской организации, а во время проведения теста помещают в тазы с водой, для того чтобы температура оставалась нужной.

И наконец, если Вы тестируете упаковку, то она должна соответствовать по качеству  представленной упаковке на рынке. То есть, представьте себе, если Вы делаете имитацию покупки и перед Вами полка, на которой стоит черно-белая упаковка или упаковка, на которой не нанесены стандартные параметры. Наш потребитель, кстати, перед тем, как сделать выбор, любит все потрогать и покрутить в руках. Постарайтесь сделать упаковки максимально похожие на те, которые представлены на рынке. Только в этом случае тестирование покупки может иметь реальные результаты.

И наконец, техническое обеспечение Hall тестов. Это - ширмы, покрывала, которые позволяют раздробить комнату на зоны, закрыть от внимания потребителей те тестируемы продукты, которые пока не нужно видеть. Одноразовая посуда ,в количестве на 20% превышающее количество нужное для теста. Тестируемый продукт должен быть в индивидуальной упаковке. Если Вам заказчик доставит упаковку, рассчитанную на большое употребление, то Вам придется перед тестом переложить продукт в индивидуальные упаковки. Потребитель очень плохо реагирует, когда ему пытаются дать попробовать ложечкой из посуды откуда, уже до него, попробовало 50 человек.

Стоимость.

Наконец вопрос, который больше всего интересует заказчика – стоимость. Посмотрим, какие составляющие включены в себестоимость тестов.

Аренда помещения - от 50-ти до 110-ти долларов, в зависимости от местоположения.

Подарки - не очень дорогие, от 3 до 10 долларов. Обычно это то, что производит сам заказчик. При этом мы все понимаем, что дарение продукции заказчика, это, в определенной степени,  нарушение ESOMAR-овской конвенции, но, тем не менее, и заказчик и  исследователь с удовольствием это делают.

Оплата интервьюеров, рекрутеров и технических помощников. Тут расчет прост, то есть человек, который работает на Hall тестах должен зарабатывать от 20-ти до 30-ти долларов в день.  Oплата супервайзера и наблюдателя - от 20-ти долларов и выше.

Таким образом, в среднем стоимость холл-теста   для заказчика составляет от 10-ти до 20-ти долларов, в зависимости от сложности рекрутмента, от величины анкеты. Спектр мнений по стоимости холл-тестов варьируется от эмоциональных «меньше 15 стоить хороший холл-тест стоить не может» до скептических  «За 10 мы опросим даже кенгуру в Австралии».

Для Home теста эта стоимость для заказчика от 12-ти до 25-ти долларов.

Хочу сразу отметить, что большинство утверждений, которые здесь приведены - относятся к FMCG.Это наиболее часто тестируемые продукты. Для В2В действуют абсолютно другие законы.

Насколько быстро можно получить результат?

Шмакова Ирина. Hall тест и Home тест -  единый срок для  подготовке анкет и  в обработке результатов. Поле у Hall теста может быть достаточно коротким. Иногда 2-3 дня хватает. Бывают случаи, когда рекрутмент легкий и анкета небольшая, тогда и 400 человек в день опросить не сложно. Но, как правило, средняя норма около 100 человек в день. Но такой хороший поток бывает в первые дни, пока не выбраны легкие квоты. После чего остальных несчастных 50 человек приходится тянуть еще три дня. Для  Home тестов сроки самого поля очень длительные. Чем больше визитов, тем  длиннее Home тест. Кроме этого надо дать респонденту возможность попользоваться этим продуктом, оценить его. Поэтому  минимальный срок для Home теста около 3-х недель.

Можно тезисно отличия в проведении холл-тестов для  В2В ?

Шмакова Ирина. Когда изучается рынок В2В, то есть существенные отличия.

Процесс выбора продуктов: совсем не так как потребители FMCG. Для B2B гораздо важнее технические параметры. Кроме этого, на рынке В2В часто действует внеэкономические факторы выбора (откаты, взятки, административное принуждение). Это «поймать» в обычном исследовании практически невозможно, только если в глубинных или экспертных интервью. Поэтому, даже если Вы тестируете замечательно, совсем не факт, что в результате Вы верно определите потребительский спрос. Кроме этого, людей, принимающих решение по приобретению товаров В2В, труднее искать, их очень сложно приглашать. Единственное исключение, которое знаю, это упомянутые Асхатом комбайны, когда тестировали новый комбайн именно те, кто приехал на данный завод за запасными частями и новыми комбайнами. Они тестируют с удовольствием, они  и заинтересованы в том, чтобы протестировать новый комбайн. То есть, сложность в нахождении, сложность в аргументах, сложность в определении параметров спроса.

Кутлалиев Асхат Хасянович. По поводу В2В есть еще одна проблема в том, что, если для FMCG чаще всего один покупатель в одном лице сочетает человека, который сам  принимает решение, сам платит за упаковку  и сам потребляет, то во время  В2В эти роли распределены и довольно сильно. То есть, один человек на предприятии ищет информацию, другой принимает решение, финансовый отдел платит деньги, а потребляет другой. В этом очень большая сложность в тестировании этих потребителей. Там надо собирать фактически коллективного потребителя и с ним работать.

Версия для печати