Библиотека маркетолога

Ошибки маркетинговых исследований

Сергей СтарковГенеральный директор Quans Research, ЕМВА, к.э.н.

Как получить достоверные результаты?

К вдохновению маркетинговых агентств, рыночные исследования перестают быть чем-то уникальным в российской бизнес-практике. Исследовательский рынок ежегодно растет на четверть и более, его годовой объем уже превышает $300 миллионов. Представители даже самых консервативных промышленных отраслей перестают ориентироваться на эфемерную «предпринимательскую интуицию» и обращаются к профессионалам в поисках знаний о рынке. И вполне своевременно, нужно заметить, обращаются: все чаще рыночные провалы и даже гибель компаний обусловливаются неправильным курсом бизнеса, убийственной стратегической слепотой.

Маркетинговое исследование — самый верный, если не единственный, путь к практическим знаниям о среде, в которой существует бизнес. На этой информации основываются важнейшие управленческие решения, благодаря которым компания занимает те или иные, более или менее благоприятные позиции. Логично предположить, что качество этих решений зависит от двух факторов — компетентности менеджера и надежности информации, полученной в ходе маркетингового исследования. В этой статье речь пойдет о проблемах надежности маркетинговой информации, собираемой в ходе исследований.

Количественные исследования

Количественные маркетинговые исследования направлены на получение как можно более точных количественных оценок тех или иных параметров изучаемого предмета, то есть имеют дело с цифрами. Понятно, что если серьезные принимаемые решения основываются на цифрах, требования к точности и достоверности этих цифр должны быть не менее серьезными. Чем выше уровень решения, тем больше требований должно предъявляться к точности маркетингового исследования, поскольку с повышением точности снижается управленческий риск, но увеличивается стоимость исследования. Но, как бы то ни было, на любом уровне управленческих решений и вне зависимости от стоимости, подходы к организации и проведению маркетингового исследования должны учитывать все риски, которые несет его заказчик.

Риски маркетинговых исследований

С вами случалось спрашивать у прохожего совета, не зная дороги куда-либо, и получать указующий ответ-жест типа «Воооон туда»? Обычно, получив такой совет, люди двигаются в указанном направлении, не задумываясь о качествах источника информации. Откуда тот прохожий знает, куда вам идти? Был там? Или слышал, что нужное место находится там? От кого слышал? В любом случае, воспользовавшись этим советом постороннего, вы окажетесь в одном из трех мест: в пункте назначения, почти там или в абсолютно другом месте. Итог вашей ошибки, то есть применения некачественной информации — потерянное время, упущенные возможности и прочие неприятности, которых вполне можно было избежать.

Самая распространенная и, пожалуй, одна из самых безобидных проблем маркетинговых исследований — бесполезность полученной информации. Безобидная, поскольку, не применив недостоверные данные, вы не сможете навредить своему бизнесу. Потраченных впустую денег будет жаль, но это не поставит под угрозу позиции бизнеса. Распространенным этот риск стал благодаря «трудностям перевода»: не все исследователи способны правильно и понятно транслировать собранные данные до степени практически применимых знаний, не все менеджеры способны «прочесть» полученную информацию до степени реального осознания. Множество отчетов по маркетинговым исследованиям бессмысленно пылятся на полках, напоминая заказчикам о пустых тратах.

Если бесполезность данных маркетингового исследования оборачивается обычным досадным бизнес-опытом, то применение недостоверных данных может резко ухудшить позиции бизнеса на определенных рынках, либо вообще поставить на карту судьбу компании. Маркетинговые исследования проводятся в таком множестве деловых сфер, что недооценивать их влияние на успех бизнеса довольно опасно. Это можно было бы назвать популизмом, не пестри сегодняшняя деловая среда целым букетом печальных историй рыночных провалов.

Главное, чем вы рискуете, применяя неточные маркетинговые данные — деньги, время, репутация. Неверно выбранный целевой сегмент, неправильно спланированная рекламная кампания, неадекватное ценовое позиционирование, неправильная оценка предпочтений потребителей... Каждый неверный шаг может обернуться катастрофой для компании, и чем слабее ее рыночные позиции, тем глобальнее могут быть последствия необоснованных решений. Страховка от неправильных решений — достоверная рыночная информация.

Что такое «достоверная информация»?

Как может показаться на первый взгляд, с определением «достоверность» все довольно просто. Если не углубляться в предмет, то в целом так оно и есть: «достоверный» значит «правдивый», не более. Но этого абсолютно не достаточно в деловом обороте, где требуется гораздо больше точности, чем в повседневном «бытовом» применении. В частности, в сфере маркетинговых исследований к понятию достоверности предъявляются очень серьезные требования. Среди множества факторов достоверности маркетинговой информации особое внимание стоит уделить ошибкам процесса исследования и точности интерпретации и анализа собранных данных.

В процессе разработки и проведения маркетинговых исследований применяются сложные методы многих научных дисциплин: социологии и психологии, маркетинга и микроэкономики, поведения потребителей, психометрии, статистики и квалиметрии. Как и другим наукоемким сферам, маркетинговым исследованиям свойственно множество тонких мест, в которых возможно возникновение критических ошибок исследования. Рассмотрим их в порядке процессов типичного количественного маркетингового исследования.

Ошибки проектирования исследования

На этапе проектирования маркетингового исследования, как во время закладки фундамента здания, определяется его надежность. Когда вы обращаетесь в маркетинговое агентство с конкретными информационными пробелами, специалисты предлагают исследовательские методы, ориентированные на решение именно ваших задач. Важно, чтобы избираемые методы исследования отвечали требованиям эффективности, предусматривали оптимальное сочетание полученного результата и затраченных средств. Недавно одно из столичных маркетинговых агентств изучало предпочтения москвичей на рынке автомобильных шин, избрав для этого метод массового опроса в формате «face-to-face». При этом задачей являлось всего лишь определение рыночных пропорций марок и размеров шин, без персонализации потребителей. На проведение 1600 интервью было затрачено полтора месяца и несколько десятков тысяч долларов. Понятно, что методом наблюдения, например, те же результаты могли быть получены в разы быстрее и на порядок дешевле.

Приведенный пример иллюстрирует расточительность ресурсов, но не искажение информации. Есть множество других, гораздо более опасных ситуаций, когда ошибки проектирования напрямую влияют на достоверность полученной информации. Чаще всего такие ошибки связаны с определением генеральной совокупности и дизайном выборки.

Определение изучаемой совокупности — один из самых главных вопросов исследования. Обобщенно в качестве генеральной совокупности принимается аудитория, соприкасающаяся с деятельностью компании в каком-либо ракурсе. Другими словами можно было бы отождествлять генеральную совокупность и целевую аудиторию, но разнообразие направлений маркетинговых исследований требует допущений. Например, целью исследования может быть изучение потенциальной аудитории, групп, потребляющих товары-заменители, бывших покупателей, уже не являющихся целевой группой. Соответственно, настройка параметров определения генеральной совокупности — частная задача каждого конкретного исследования.

Исследователь не должен стесняться в применении скрининга — системы «фильтрации» генеральной совокупности для отбора нужных респондентов. Скринер — это группа вопросов в начале анкеты, ответы на которые определяют участие человека в опросе. Обычно исследователи стараются не «раздувать» скринер, то есть не усложнять фильтры, поскольку это приведет к более строгому отсеву участников опроса и, соответственно, к лишним затратам. С другой стороны, в прямых интересах заказчика — максимально строгий отбор респондентов. На вопросы должны отвечать те, кто может на них ответить, иначе участие респондента в исследовании нецелесообразно. Хорошим примером может служить недавнее исследование рынка конкретного вида корма для беременных собак, в котором приняли участие 1150 «владельцев домашних животных», отобранных скринером, несоответствующим границам исследования. В итоге — 55-процентное среднее заполнение анкет, поскольку не все владельцы морских свинок разбираются в собачьих кормах. Разница для исследователя между «беременными собаками» и «домашними животными» в комментариях не нуждается.

Если генеральная совокупность определена правильно, теоретически каждый ее представитель на вопрос из серии «Вы покупали/покупаете/купите/пользовались/знаете/владеете и пр.?» ответит положительно. Именно таких людей нужно заключать в генеральную совокупность, именно из них строить выборку. Иначе эффективность исследования будет снижена за счет опроса ненужных респондентов. Кроме того, если к анализу будут приняты данные, полученные от некомпетентных респондентов, достоверность результатов исследования будет нарушена.

Ошибки в формировании основы выборки могут нанести не менее ощутимый ущерб достоверности результатов маркетингового исследования. Основа выборки — это перечень единиц генеральной совокупности, из которого производится отбор респондентов для участия в исследовании. Если определение генеральной совокупности — это теоретическое знание, то основа выборки учитывает конкретные материальные признаки единиц этой совокупности. Например, в генеральной совокупности «владельцев автомобилей Audi не старше трех лет» может быть построена основа выборки по признаку «посетители фирменных сервисных центров Audi».

Ошибка формирования основы выборки произойдет в случае подмены признаков ее принадлежности к генеральной совокупности. Все владельцы автомобилей Audi посещают сервисные центры хотя бы для прохождения ежегодного техобслуживания, поэтому шансы встретить каждого из них в сервисном центре примерно равны. В другом примере основа выборки из генеральной совокупности владельцев домашних компьютеров была построена по признаку чтения некоего журнала компьютерной тематики. Понятно, что этот признак неприменим для формирования основы, поскольку нет достаточных доказательств того, что все читатели этого журнала имеют домашний компьютер.

Ошибки в определении необходимого объема выборки приводят к недостатку репрезентативности, как следствие — к отклонению полученной информации относительно истины. Расчет объема выборки — задача не сложная, но и не элементарная. Методика расчета объема выборки подразумевает наличие знаний о параметрах изучаемой совокупности, и чем богаче эти знания, тем эффективнее исследование. Если же подобное исследование проводится впервые, методика определения объема выборки рекомендует исключить недостаточность количества респондентов. Это, в свою очередь, ведет к не всегда оправданному повышению стоимости исследования.

К множеству проблем могут вести ошибки избрания метода формирования выборки. Большинство из этих проблем связаны с подменой методически чистых, но дорогих типов выборки более дешевыми и простыми, но методически не безукоризненными. Маркетинговые исследования очень часто требуют применения метода простой случайной выборки, но случайный отбор респондентов — дорогая и сложная процедура. Поэтому недобросовестные исследователи часто применяют суррогатные аналоги случайной выборки, внося в процесс элемент системности. Вслед за этим выборка наполняется в соответствии с рядом нежелательных эффектов, снижающих репрезентативность. Далее следуют неверные выводы по результатам маркетингового исследования и управленческие ошибки.

Проектирование анкеты количественного исследования — настоящий Клондайк для допущения ошибок. От качества анкеты, от умения задавать вопросы, зависит половина успеха исследования. По сути, анкета — это язык общения интервьюера с респондентом, и они оба должны владеть этим языком идеально. Как этого добиться от респондента? Очень просто: не задавайте ему непонятных, неоднозначных, двусмысленных вопросов, не нагружайте его терминами и профессиональными формулировками, избегайте заимствованных слов и англицизмов, не давайте ему уставать и скучать, не допрашивайте его, не задавайте личных, интимных, тревожных вопросов.

Существенный ущерб результатам исследования может нанести ошибка подмены информации, связанная с несоответствием искомых данных поставленным задачам. Например, если при выпуске шоколада с новой начинкой перед исследованием ставится цель оценить его вкус, а респондентов просят сравнить его со старым вкусом, имеет место ошибка подмены информации. Очевидно, что «оценка» и «сравнение» — совершенно разные задачи.

Ошибки сбора данных

Этап сбора данных, или «поле», начинается с отбора респондентов. Если эта процедура не обусловлена строгими правилами, может проявиться ошибка отбора респондентов. Ошибка отбора имеет место в том случае, когда используется нерепрезентативная, отличная от случайной, выборка. Например, если интервьюер, проводящий опрос относительно покупательских привычек в супермаркете, намеренно избегает брать интервью у посетителей с детьми, проявляется ошибка отбора.

Ошибка задавания вопроса проявляется, когда интервьюер, задавая вопрос респонденту, использует формулировку, отличающуюся от записанной в анкете. На то, как интервьюер задает вопрос и расспрашивает о подробностях, оказывают влияние следующие факторы: собственное мнение интервьюера относительно того, какой ответ является «правильным» и ожидание ответов, которые будут «соответствовать» респонденту. Например, при беседе с человеком без высшего образования интервьюер может самовольно заменить вопрос «Какое образование у Ваших детей?» вопросом «Наверное, Ваши дети не учились в институте?». Это очевидная ошибка задавания вопроса.

В большинстве случаев личное интервью является для респондента совершенно новым опытом, в результате интервьюер становится для него основным источником подсказок относительно того, как следует себя вести. Интервьюер должен производить впечатление человека, который в состоянии понять точку зрения участника, и сделать это, не отвергая его мнения. Соответственно, неспособность интервьюера быть «на одной волне» с респондентом провоцирует ошибку навязывания впечатления.

Ошибка вмешательства, обмана и подлога — наиболее острая проблема маркетинговых исследований. Проблема подлога и обмана со стороны интервьюеров обусловлена несколькими причинами, в числе которых скромные заработки, недостаточный контроль и низкий культурный и дисциплинарный уровень. Подлог может оказаться очень серьезным, когда сфабрикованным окажется все интервью целиком или это коснется отдельных вопросов, ответы на которые не были получены в ходе беседы с респондентом. Поскольку это приводит к серьезным ошибкам, во многих исследовательских компаниях подвергаются проверке до 50% результатов интервью. Этот процесс предполагает повторный, обычно телефонный, опрос некоторого количества участников проведенного исследования.

Ошибка отказа от ответа является существенной проблемой, поскольку люди, отказавшиеся от участия в исследовании, скорее всего, будут значительно отличаться от тех, кто на сотрудничество пошел. Существует ряд причин для отказа от участия в исследовании. Главным образом — это страх перед последствиями. Также исследование может восприниматься как вторжение в частную жизнь. Кроме того, человек может быть недружелюбно настроен по отношению к исследователю.

Ошибка неспособности ответить. Респонденты могут быть неспособны дать ответ в случае, если они его не знают или забыли; они также могут быть неспособны правильно выразить его. Проблемы в каждом из этих случаев могут оказаться еще серьезнее, если респонденты начнут выдумывать ответы, поскольку не хотят признаваться в своей некомпетентности или хотят оказать любезность интервьюеру. Следует помнить, что в большинстве случаев респонденты хотят помочь исследователю и стараются дать как можно больше информации. Свой вклад в ошибку исследования могут внести искажение временем, усреднение или упущение информации.

В ходе интервью могут проявиться ошибки нежелания дать точный ответ и искажения ответа. Среди причин, обусловливающих это явление, могут быть ощущение вторжения в частную жизнь, недостаток времени, усталость респондента, соображения престижа и социальной приемлемости ответа, любезность, отсутствие информации и стиль ответа.

Ошибки ввода, анализа и интерпретации данных

После того, как все заполненные анкеты доставлены в офис исследовательского агентства, специалисты приступают к процессу формирования базы данных исследования. На этом этапе анкетные данные вводятся в специализированные статистические программы, кодируются и проходят многоступенчатую проверку. Это технические мероприятия, которые могут допускать технические ошибки. Например, некорректное кодирование может привести к потере ценных данных открытых вопросов, а ошибки ввода данных, допущенные под влиянием человеческого фактора, могут исказить данные правильно проведенного полевого этапа. Как правило, проводимые проверки позволяют нивелировать технические ошибки ввода и кодирования.

Неправильное применение методов статистического анализа представляет более серьезную проблему. Обычно анализ данных маркетингового исследования ограничивается простым табулированием — построением линейных и перекрестных распределений ответов на вопросы анкеты. Конечно, применение элементарных статистических процедур, не требующих специальных навыков и знаний, ограничивает риски неправильной интерпретации данных. Но когда используются сложные статистические методы кластерного, регрессионного, совместного анализа, риск неправильной обработки данных резко повышается. На выходе заказчик получает ложную информацию и основывает на ней такие же ложные выводы.

2000 слов о том, как нельзя проводить фокус-группы

В основу легла показательная ситуация, имевшая место в реальной практике маркетинговых исследований. Известное исследовательское агентство, назовем его «Absurd Research», недавно провело серию фокус-групп по заказу крупнейшего европейского автомобильного концерна. Один из методических светил качественных исследований из другого исследовательского агентства волей закономерного случая был приглашен к участию в одной из этих фокус-групп. Хроника этого события и будет изложена ниже. Будет изложена с нарочитым акцентом на допущенные фатальные ошибки, а точнее не ошибки, а убийственные отступления от методических требований, каждое из которых способно списать весь исследовательский проект в категорию бессмысленных и опасных для бизнеса заказчика. Для наименее посвященных читателей текст будут сопровождать комментарии-объяснения, чем именно опасны допущенные компанией ошибки.

Предмет проведенного исследования.

Существует старейшая европейская автомобильная марка, очень распространенная в России. Когда-то это была полноценная во всех смыслах «иномарка» среднего класса, но сегодня мы скорее узнаем в ней ближайшую альтернативу «Ладе». Остановимся на определении «автомобильная марка очень низкого класса», назвав ее условно «Despair».

Спортивное подразделение этой автомобильной компании находится в процессе принятия решений о выпуске на российские дороги нового спортивного купе, с позиционированием в сегменте 60–80 тысяч евро. Вполне здравая мысль со стратегической точки зрения, особенно после удачных рыночных экспериментов других средних производителей. «Целится» спортивный «Despair» в аудиторию «машин для эгоиста»: Mercedes SLK, Audi TT, Porsche 911, BMW Z4, Jaguar XKR и прочих «luxury-игрушек». Планируя пересадить «эгоистов» с перечисленных марок на «Despair», компания заказывает исследовательскому агентству проект, направленный на выявление отношения этой аудитории к возможным концепциям нового спорткара, особенностям и характеристикам, способным поставить его в перечисленный альтернативный ряд. По замыслу, на фокус-группы приглашаются владельцы тех самых Porsche, Jaguar, Audi и прочих. Оставим на совести рыночных стратегов попытки внедрить привычно дешевую марку на рынок роскоши и рассмотрим, чем исследовательская практика отличалась от вполне здравого теоретического замысла.

Привлечение участников фокус-группы.

Поиск участников для фокус-группы — одна из самых сложных задач качественных исследований. Когда речь идет о богатых респондентах, сложность возводится в степень их высокого дохода. Другими словами, найти высокодоходных респондентов и пригласить их на пару часов в офис агентства — дорогой и сложный бизнес-процесс. Решается эта проблема обычно двумя путями: методом «снежного кома» с истоками от сотрудников исследовательского агентства, либо с использованием соответствующих баз данных. Второй способ применяется в отношении высокодоходной группы агентствами, специализирующимися на исследовании luxury. Первый, хаотичный и непредсказуемый способ рекрутинга богатых респондентов методом «снежного кома», в России гораздо более распространен.

Применение этих способов в рассматриваемом проекте привело к следующим результатам. Первые две запланированные фокус-группы, по признанию модератора, не состоялись из-за недобора респондентов. Критерии отбора были довольно простыми, но очень жесткими: в собственности респондента должен находиться автомобиль класса «спортивное купе», приобретенный в 2006–2008 годах у официального дилера. Перечень альтернатив ограничен двумя десятками конкретных моделей автомобилей. Соответственно, собрать фокус группу из четырех человек агентству «Absurd Research» удалось с третьего раза. Собственно, «удалось» — это не совсем корректное определение в данном случае. И вот почему.

Безусловно, заказчик хотел общаться с богатыми «эгоистами-гедонистами», которые могли бы рассказать о том, какими причудами характера и личности они были ведомы, оставляя 100 тысяч евро за очень непрактичную безделушку на огромных колесах. В итоге, они получили следующее: мелкого предпринимателя на кабриолете Mercedes 2001 года выпуска, подростка-мажора на таком же кабриолете, тихую девушку на древнем Hyundai Coupe, и исследователя профессионала. К слову, у агентства был шанс собрать результативную фокус-группу, поскольку к назначенному времени в офис агентства явились около 15 приглашенных. К несчастью, ожидание начала дискуссии растянулось на полтора часа, и пятеро кандидатов ушли, не дождавшись внимания к ним. Речь идет о наиболее подходящих, на первый взгляд, к требованиям отбора людях. Другие приглашенные были «забракованы» за явным несоответствием критериям отбора.

Ни один из приглашенных участников не соответствовал критериям отбора, установленным заказчиком исследования, поскольку никто из них не являлся представителем целевой аудитории по признаку дохода. Только исследователь полностью соответствовал требованиям заказчика, но он не мог принимать участия в фокус-группе в силу профессиональной подготовки. Модератор группы был оповещен об этом факте, но не исключил исследователя из группы и, кроме того, попросил его скрыть свою профессию в случае проверки. Таким образом, изначально состав группы абсолютно не соответствовал требованиям исследования.

Подготовка к началу фокус-группы.

Начало дискуссии было назначено на 19:00 рабочего дня, началась же она в 20:30. При входе приглашенных «встречала» женщина, буркая под нос «Проходите прямо», не отрывая глаз от журнала. Все полтора часа ожидания люди сидели в фойе, с каждой минутой все больше разочаровываясь в своем визите. Как уже говорилось выше пятеро приглашенных покинули это молчаливое заседание, не дождавшись мероприятия. «Мошенники» терпеливо дожидались вердикта, а состоявшиеся участники дискуссии на последнем дыхании добрались до итога «подготовки» к фокус-группе, каждый в силу собственных причин. Профессиональный интерес Исследователя также превзошел предельное раздражение от затянувшегося ожидания.

Стоит заметить, что размер назначенного вознаграждения участников дискуссии составлял 6000 рублей, что достаточно много для подобных мероприятий. Объяснение высокой компенсации заключалось в планируемой продолжительности встречи — около 3,5 часов. Вместе со временем ожидания это больше, чем перелет из Москвы в Барселону. Соответственно, к началу дискуссии участники были «заряжены» таким количеством негатива, что ее впору было отменить. Но, тем не менее, фокус-группа состоялась.

Качественные методы маркетинговых исследований направлены на выявление глубинных мотиваций, мнений, отношений респондентов к изучаемой теме. Глубокие когнитивные и эмоциональные контексты выявляются в психологической плоскости, поэтому взаимное расположение, доверительная и дружелюбная обстановка критически необходимы в таких процессах. В противном случае исследователь получит автоматические, социально приемлемые или защитные высказывания, а не истинное отношение респондента. Более того, коллективное обсуждение подразумевает множество взаимных трансакций и эффективным может быть лишь в случае позитивной атмосферы дискуссии. Создать такую атмосферу — задача модератора и его помощников, причем две трети этой работы должно приходиться на этап подготовки. Во время ожидания начала мероприятия помощники модератора должны оживить собравшихся, объединить их вокруг каких-либо интересов и тем настроить на легкий дружелюбный лад. «Брошенные» респонденты обычно накапливают раздражение, особенно если фокус-группа назначается в будние дни, тем более — вечером. Ожидать конструктивного сотрудничества от деструктивно настроенных респондентов бессмысленно.

Знакомство участников.

Пригласив четверых отобранных участников в помещение фокус-комнаты, модератор попросил их представиться и рассказать немного о себе, о своем образовании, месте работы, должности и других деталях, которые ораторы сочтут важными. Поочередно получив слово, участники рассказали свои истории, из которых составился такой социальный портрет группы, что мероприятие впору было отменить. Но оно состоялось. Фокус-группе, наполненной представителями диаметрально противоположных социальных сегментов, организаторы из «Absurd Research» дали право на жизнь, в очередной раз дискредитировав этот исследовательский метод.

Что обычно происходит с человеком, оказывающимся в плотной среде представителей совершенно чужой социальной группы? Если говорить о человеке среднего уровня психологической «закалки», коих в России большинство, он либо закрывается перед окружением, которое по умолчанию считает недружественным, либо принимает одно из ролевых состояний, диктующих дальнейшее поведение. В таких состояниях может быть проявлена агрессия, цинизм и крайний прагматизм, либо напротив, инфантильность или глуповатая игривость. Любое из этих состояний препятствует искреннему выражению мыслей и взглядов. Также выражению истины мешает стремление к социальной приемлемости себя и своих заявлений, являющаяся главной проблемой продуктивности групповых дискуссий. Ошибкой модератора в этом случае было публичное извлечение информации о социальном уровне участников.

Ход дискуссии.

Тема исследования была достаточно близка и интересна участникам, но беспрецедентная четырехчасовая длительность беседы плюс монотонность ее организации внесли ощутимые коррективы в результат. Фокус-группы не напрасно традиционно не выходят за пределы двух часов: физиологическое утомление участников делает их ответы автоматическими, притупляет внимание, демотивирует участие в дискуссии. В нашем случае, спустя два часа с момента начала фокус-группы, голодные участники думали только о еде, курящие — только о сигарете, не выспавшиеся — о своей подушке. Тем временем, вопросы и задания становились все сложнее, а сил на них у респондентов оставалось все меньше. Безусловным плюсом групповых дискуссий на фоне персональных интервью является динамика обсуждения, при которой истинное отношение вытачивается группой, как скульптура из камня. Это принципиальное преимущество метода очень легко разрушить скучным рутинным сценарием, когда модератор элементарно задает вопросы поочередно каждому из участников, будто проводит формализованное интервью по анкете. На проведенной фокус-группе задавались десятки вопросов, и каждый из них мог стать кладезем информации для заказчика, если бы модератор выносил их на обсуждение и выяснял перекрестные мнения, аргументы и контраргументы, а не просто «изымал» поверхностные суждения участников. Фактически, на этой дискуссии чаще задавался вопрос «что?», в то время как качественным исследованиям гораздо больше соответствует вопрос «почему?».

Еще одним крупнейшим недостатком модератора была неспособность контролировать динамику группы. Бывало, наиболее «разговорчивый» участник убивал по 10 минут на абсолютно отвлеченные темы, никак не связанные с предметом беседы. Модератор должен пресекать такие непродуктивные «всплески», которые наносят ощутимый вред результатам, отвлекая участников от темы, размывая их внимание, затрачивая лишнее время. В нашем случае модератор терпеливо выслушивал каждое такое словоизвержение, не делая никаких попыток вернуть разговор в тематическое русло.

Фокус-группы настолько популярны в исследовательской сфере, что отдельные авторы делают себе имена на популистской критике этого метода. Конечно, найти почву для критики групповых интервью довольно легко, особенно когда этот метод практикуют все подряд, без какого-либо намека на квалификацию. В отечественной практике серьезные искажения методики — очень распространенное явление. Поэтому недостатки и риски метода скорее относятся к их исполнению, а не к самой идее группового обсуждения. «Врожденные болезни» метода фокус-групп ограничиваются несколькими общими проблемами: сложностью рекрутинга участников (нескольких разных людей нужно собрать в одно время в наверняка неудобном для них месте), разницей вербального темперамента участников группы (одни будут очень разговорчивыми и пространными, другие — молчаливыми и медлительными), невозможностью количественной проверки результатов тестирования (далеко не факт, что массовый рынок примет концепцию, принятую фокус-группой).

Проблема влияния модератора на результат обсуждения — более серьезная, но и более подконтрольная проблема, когда речь идет именно о контролируемом влиянии. Если на метод влияет человеческий фактор, совершенствование этого фактора совершенствует применение метода. Модератор не должен проявлять власть, чтобы не нарушать спонтанность высказываний, но в то же время умеренно подавлять динамику, чтобы блокировать конфликты. Опытный модератор не станет вытягивать высказывания из участников, а оживит дискуссию, например, собственным «вопросительным мнением», снижая презумпцию своей компетентности и наделяя респондентов большей уверенностью. Существует целый ряд методик управления дискуссией, и квалифицированный опытный модератор должен ими уверенно владеть.

Другая же сторона эффекта влияния модератора, неконтролируемая, многими признается в качестве наиболее критической проблемы метода фокус-групп. По наблюдениям многих специалистов, конфликт принципа модерации и требования спонтанности высказываний делает метод антинаучным и бессмысленным. С точки зрения практической психологии, возможно, эта критика имеет смысл. Но в применении к маркетингу, где рассматриваются совершенно другие явления, не следует абсолютизировать это проблему. Если модератор способен «снять» более глубокое мнение респондента, процесс его деформации под влиянием группы и конечный результат такой деформации, такая работа будет очень полезна для вычленения ценной рыночной информации.