Энциклопедия маркетинга, https://www.marketing.spb.ru

Адрес документа: https://www.marketing.spb.ru/lib-research/methods/online.htm
Обновлено: 20.11.2017

Онлайн исследования как метод

Фрагмент из «Онлайн исследования в России 2.0», Online Market Intelligence (OMI)

Онлайн исследования и методология социальных наук: новые горизонты, новые (и не столь новые) трудности

Девятко Инна Феликсовна (Государственный Университет — Высшая Школа Экономики, Институт социологии РАН)

Рассуждения о принципиальной методологической новизне онлайн исследований в социальных науках нередко основаны на явном или неявном противопоставлении сетевого опроса, обследования или онлайн эксперимента как техник, обладающих очевидными преимуществами с точки зрения эффективности затрат, широты охвата людей, мест и временных интервалов, использованию Интернета как принципиально новой исследовательской среды: интерактивной, коммуникативно прозрачной, децентрализованной (во всяком случае, с точки зрения наивного пользователя) и в силу этих обстоятельств предполагающей радикальное переосмысление привычных отношений исследователей и респондентов (информантов, испытуемых). В данной небольшой статье я сделаю попытку проблематизировать некоторые кажущиеся очевидными преимущества онлайн исследования как техники традиционного выборочного опроса и указать на возможные направления ее действительно новаторского использования. Кроме того, я кратко остановлюсь на угрозах и возможностях для методологии социальных наук, скрытых в конкурирующих исследовательских программах, ориентированных на «невключенный» или неявный мониторинг коммуникативных потоков в социальных сетях.

Безусловно, с точки зрения: 1) технологичности доступа к респондентам, 2) широты пространственного охвата при фиксированном бюджете, 3) управления временными параметрами опроса для обеспечения его одномоментности (или при необходимости — для реализации сложных процедур последовательного, повторного или привязанного к времени значимых оффлайн событий контакта с отдельными группами опрошенных), 4) контроля за качеством ввода ответов и процессом кодирования и обработки опросных данных, 5) легкости реализации процедур контроля над выборочными единицами, 6) обратной связи с респондентами и некоторых других извечных методологических трудностей — онлайн опросы имеют явные преимущества в сравнении с привычными опросными техниками.

Оценивая в целом качество, т.е. валидность и надежность данных, получаемых в онлайн опросах, мы можем исходить из следующих представлений о диапазоне их значений: внутренняя валидность (по меньшей мере конструктная) сопоставима с валидностью данных, получаемых при использовании других дистантных техник опроса. Хотя для онлайн панелей показана несколько большая тенденция опытных респондентов к систематическому выбору первых ответов, переносу установки на ответ между пунктами табличных вопросов и «быстрой» стратегии заполнения [1], систематические данные относительно конструктной валидности результатов онлайн опросов, позволяющие указать на специфические для данной техники угрозы качеству измерения, пока отсутствуют. Надежность-согласованность данных онлайн опросов в общем случае может достигать нижней границы, а при реализации разумных и ненавязчивых процедур автоматизированного контроля над качеством и полнотой заполнения вопросника быть несколько выше, чем в оффлайн опросе, надежность-воспроизводимость, насколько можно судить по существующим оценкам, примерно равна надежности данных, собранных оффлайн (по крайней мере, с точки зрения основных угроз надежности).

Однако внешняя валидность онлайн данных как возможность обоснованного обобщения выводов выборочного обследования на генеральную совокупность составляет подлинную методологическую проблему, не имеющую легких и очевидных решений. Прежде всего рассмотрим такой специфический и редко упоминаемый аспект внешней валидности, как валидность статистического вывода, т.е. обоснованность базирующихся на выборочных данных статистических выводов об отношениях (т.е. популяционных значениях) мер связи между переменными. Одна из хорошо известных угроз валидности статистического вывода связана с низкой надежностью используемых индикаторов, искажающей оценки величины отношения между изучаемыми переменными, однако в этом аспекте, как отмечалось выше, данные онлайн опросов не отличаются принципиально от других опросных данных. Другие три угрозы валидности вывода требуют большего внимания. Слишком маленькая вероятностная выборка может не обеспечивать достаточной мощности статистического теста, однако выборки онлайн исследований обычно велики и стоимость рекрутирования дополнительных респондентов сопоставима с нижней границей стоимости увеличения объема выборки оффлайн. Вместе с тем мы обычно не располагаем данными о гомогенности или гетерогенности исследуемых совокупностей в тех случаях, когда выборка для онлайн опроса не основана на вероятностной оффлайн выборке (предпочтительно территориальной). Даже если речь идет об опросе, результаты которого предполагается обобщить на такую «привилегированную» совокупность, как пользователи Интернета, мы не располагаем пока данными для оценки угрожающей валидности вывода случайной гетерогенности такого рода выборок. Следует также помнить о том, что существующие выборочные оценки параметров «населения Всемирной сети», на которые мы могли бы опираться, зачастую основаны на выборках из онлайн панелей, сильно смещенных в сторону «профессиональных» респондентов, постоянно участвующих во множестве онлайн панелей в силу утилитарной или иной мотивации. Вместе с тем имеющиеся эмпирические свидетельства относительно систематических ошибок измерения, связанных с «панельным обусловливанием» опытных участников опроса, противоречивы: тренированные респонденты обнаруживают некоторые отличия от новичков в подверженности эффектам социальной желательности и в использовании «низкозатратных» стратегий заполнения, однако не слишком отличаются с точки зрения своей подверженности позиционным эффектам и доли неответов для разных форматов вопроса [1].

Однако главные угрозы внешней валидности связаны все же с задачей обобщения оценок и выводов, полученных на онлайн выборках, на какую-либо генеральную совокупность. Возникающие здесь проблемы более или менее удовлетворительно решаются в тех случаях, когда генеральная совокупность — это пользователи Сети (предпочтительно члены локального языкового сообщества), подписчики тех или иных сетевых сервисов либо объединенные организационной принадлежностью пользователи локальной сети (например, студенты университета, сотрудники фирмы). Из трех главных угроз реперезентативности: 1) отсутствия основы выборки, 2) проблем охвата, т.е. неспособности используемой выборочной процедуры охватить реальную генеральную совокупность (т.е. задать известную ненулевую вероятность попадания в выборку для каждой единицы совокупности) и 3) неответов либо отказов от участия — в описанных случаях обычно удается решить первые две. (Отметим здесь уникальные преимущества интернет-обследований для изучения деловых и бизнес-организаций, для которых существуют множественные сетевые основы выборки и источники данных.) Также проблемы универсализации результатов онлайн опросов поддаются решению в тех случаях, когда онлайн выборка получена в результате оффлайн опроса (например, в результате рекрутирования респондентов телефонного опроса со случайным дозвоном, RDD1). Конечно, в этих случаях возникают систематические ошибки выборки, связанные с систематическими различиями в отклике на приглашение участвовать в опросе, различиями в вероятности полного заполнения анкеты и т.п. Однако наличие априорной информации об исследуемой генеральной совокупности, основанной на оффлайн выборке, позволяет провести апостериорную коррекцию данных онлайн опроса, в том числе выборочных оценок коэффициентов связи между исследуемыми переменными, с помощью подхода, основанного на моделировании отношений между переменными (model-based approach), перевзвешивания или более спорных приемов приписывания отсутствующих значений на основе сопоставления респондентов по некоторым ключевым переменным (matching). Серьезные методические исследования возможностей устранения выборочных ошибок онлайн опросов с помощью основанных на данных из базовых (т.е. служивших источником рекрутирования респондентов для онлайн исследования) оффлайн панелей пока немногочисленны. Недавнее масштабное исследование такого рода, нацеленное на уточнение возможностей использования процедур перевзвешивания и коррекции выборочных оценок, полученных в онлайн опросе с помощью основанных на общенациональной оффлайн выборке оценок предрасположенностей (propensity scores), продемонстрировало возможности некоторого улучшения выборочных оценок для дихотомических переменных, однако для остальных переменных перевзвешивание и приписывание значений не привели к существенным изменениям в точности оценивания параметров генеральной совокупности, что, как отмечают авторы исследования, бросает тень сомнения на применимость стандартных post hoc процедур коррекции ошибок отбора для участников онлайн опросов [2].

Однако все эти процедуры неприменимы, если речь идет о наиболее распространенном типе онлайн панелей, основанных на добровольном саморекрутировании (именуемых также access или opt-in панелями). Во всех этих случаях мы не можем определить генеральную совокупность и применить методы вероятностного отбора. Соответственно, валидные обобщенные выводы о характеристиках изучаемых субъектов, помимо тех, кто был непосредственно охвачен опросом, невозможны. Попытки некоторых исследователей рынка обосновать использование случайных подвыборок из целевых выборок, основанных на самоотборе, через апелляции к модельному подходу, джекнайфу или чудесному совпадению оценок отдельных параметров целевых выборок с оценками, полученными в оффлайн обследованиях, проведенных на вероятностной выборке2, часто осознанно или неосознанно мотивированы понятным, но не оправдывающим отступление от выстраданных в давних методологических дискуссиях правил обоснованного статистического вывода желанием снизить издержки на проведение масштабных маркетинговых опросов в мире, где массовизация опросного ремесла и сверхэксплуатация респондентов привели к «опросной усталости», выражающейся в устойчивом росте доли неответов и отказов от участия в исследовании. Как справедливо отмечает Г. Натан, «...изобилующие повсюду интернет-версии развлекательных опросов, потребительских обследований и анкет, нацеленных на получение обратной связи, а также опросов, основанных на самоотборе и добровольной регистрации, адресованы любому, кто захочет отвечать. Никакие валидные выводы не могут основываться на таких попытках, никак не связанных с научными опросами. К сожалению, большое число широко распубликованных призывов к участию потенциальных респондентов в этих интернет-опросах привело к появлению огромного количества респондентов, которые, однако, не являются репрезентативными по отношению к какой-либо хорошо определенной совокупности. Тот факт, что число полученных таким образом респондентов очень велико (исчисляясь иногда сотнями тысяч), пытаются представить как залог надежности результатов, однако в действительности не существует даже возможности оценить внутренне присущие этим подходам смещения. Попытки преодолеть последствия отсутствующего планирования выборки с помощью постстратификации или других методов взвешивания либо приписывания значений (imputation) неэффективны для исправления возникающих смещений» [3].

Существуют ли очевидные перспективы преодоления описанных угроз внешней валидности для онлайн обследований? Возможно, некоторые технические решения проблем множественного заполнения, манипулирования идентичностью и, вероятно, центральной проблемы — создания надежных основ для олайн выборок — будут найдены по мере развития все более персонализированных средств коммуникации (в частности, распределения нынешней функциональности ПК между новыми специализированными устройствами, предназначенными для сетевой коммуникации, хранения текстовых и графических данных и т.п.). Не исключено также, что постоянно трансформирующееся законодательство в области «цифрового гражданства», т.е. прав и ответственности, возникающих при использовании сетевых технологий, также приведет к сужению области анонимности пользователя (эти процессы необязательно послужат росту свободы и демократии, однако решат некоторые методические проблемы онлайн исследований). Однако мне представляется, что социологам стоит воспользоваться нынешней «технологической паузой» для более широкого внедрения в исследовательскую практику альтернативных целевым онлайн выборкам методов сетевых исследований, обладающих не только внешней, но и внутренней валидностью.

Первая альтернатива несовершенным opt-in опросам, являющаяся во многих отношениях методически безупречным решением, пусть и требующим мобилизации значительных финансовых ресурсов и создания инфраструктуры для академического сотрудничества (с возможным участием бизнеса), — создание полноценной общенациональной онлайн панели, основанной на вероятностной выборке. Имеющийся зарубежный опыт такого рода исследовательских коллабораций, предполагающий при необходимости обеспечение доступа в Интернет для респондентов, отобранных с помощью полноценной (оффлайновой) основы выборки, может расцениваться как преимущественно позитивный. (Впечатляющим европейским примером такого опыта может служить нидерландский проект MESS «Продвинутая междисциплинарная среда для измерения и экспериментирования в социальных науках», включающая в себя лонгитюдную панель LISS (//www.centerdata.nl/en/MESS), сопоставимую по своим возможностям с лучшими общенациональными территориальными выборками домохозяйств.)

Еще одна методическая альтернатива, незаслуженно игнорируемая социологами, — экспериментальные и квазиэкспериментальные планы. Далеко не всегда стратегическая цель исследования, академического или прикладного, в действительности требует решения задачи выборочного оценивания параметров генеральной совокупности. Во многих ситуациях осмысленные вопросы относительно структуры причинных связей между независимыми и зависимыми переменными (например, между политическими установками и электоральным поведением или стилем рекламного сообщения и его эмоциональной оценкой и т.п.) предполагают разработку именно экспериментального плана, обладающего несомненными преимуществами в проверке каузальных моделей. Оценка величины эффекта в генеральной совокупности по имеющимся выборочным наблюдениям во всех этих случаях — задача столь же вторичная по отношению к задаче обнаружения собственно эффекта в эксперименте, как, скажем, оценивание популяционного значения коэффициента корреляции между воздействием медицинского препарата и продолжительностью ремиссии для совокупности всех потенциальных и реальных пациентов в сравнении с задачей экспериментальной проверки самого факта наличия описанного воздействия. Иными словами, лишь инерция методических предпочтений и отсутствие прочной традиции экспериментирования в социологии3 препятствуют осознанию чрезвычайно широких возможностей онлайн экспериментов, для которых внутренняя валидность и рандомизация условий являются куда более существенными, нежели обеспечиваемая вероятностным отбором респондентов внешняя валидность. В последние годы эти возможности столь активно осваивались представителями других наук о человеке (прежде всего психологами), что возникла необходимость в создании не только методических пособий и соответствующих сетевых ресурсов (например, //psych-wextor.unizh.ch/wextor/en/), но и специальных руководств, регулирующих соблюдение этических норм при проведении экспериментов в сети [4].

Особого упоминания заслуживает такая недооцененная перспектива онлайн экспериментирования, как факторные опросные планы (factorial survey design), использующие технику виньеток. Факторные опросные планы, ныне преимущественно используемые в компьютеризованных телефонных опросах и методических экспериментах, могут быть легко реализованы и в онлайн опросах. В момент опроса встроенные в компьютерную программу соответствующие каждому фактору, т.е. независимой переменной экспериментального плана, операторы случайным образом выбирают его конкретное значение, воплощая практически любой по уровню сложности полностью рандомозированный многофакторный эксперимент. План может быть сколь угодно методически изощренным, но его реализация не требует никаких усилий со стороны интервьюера и проходит незамеченной со стороны респондента. Техника виньеток — специально созданных, часто вымышленных, описаний социальных объектов, индивидов и ситуаций, составленных из отдельных, систематически варьируемых переменных-признаков, была специально разработана для исследования установок, повседневного восприятия и имплицитных «причинных моделей» (подробнее см.: [5]). Использование виньеток в факторном эксперименте позволяет систематически варьировать уровни переменных-факторов, определяющих установки, убеждения, коллективные представления и социальные категоризации, и выявлять причины их формирования. Таким образом, легко реализуемые в онлайн среде, в том числе на любой из уже существующих платформ для онлайн экспериментов, факторные опросные планы позволяют совместить внешнюю валидность репрезентативных выборочных опросов с несомненной внутренней валидностью рандомизированного, многомерного (несколько независимых переменных), многоуровневого эксперимента.

Наконец, онлайн исследования открывают перспективу новых приложений для методологии respondent-driven sampling, RDS — «выборок, управляемых респондентом», активно развиваемой в социологии и за ее пределами (в частности, в биомедицинских исследованиях). Выборка, управляемая респондентом — разновидность сетевой выборки4, типологически близкая к выборке, создаваемой методом «снежного кома». Сетевые выборки, в исходной своей форме рассматриваемые в качестве целевых (т.е. неслучайных), при использовании методологии RDS позволяют количественно оценивать вероятность включения в выборку для отдельного респондента и величину систематической ошибки, связанной с межиндивидуальными различиями в этой вероятности, а следовательно — получать валидные оценки параметров совокупности. Выборки, управляемые респондентом, это адекватный метод исследования ограниченных или даже «закрытых» популяций, границы которых могут быть заданы небольшим количеством признаков и для которых характерна высокая плотность внутригрупповых связей (студенты университета, профессиональные группы и т.п.). При достаточной длине цепочек (циклов) рекрутирования респондентами друг друга такие полностью связанные совокупности обладают следующим важным свойством: состав финальной выборки при достижении равновесия становится независимым от того, каков был набор первичных респондентов (seeds) [8; 9; 10]. Не вдаваясь здесь в технические детали, отметим, что соблюдение некоторых методических правил, связанных с выбором первичных респондентов (выбор социально активных «социометрических звезд»; учет территориального размещения целевой генеральной совокупности; выбор первичных респондентов, максимально гетерогенных по социально-демографическим признакам, влияющим на формирование социальных связей и т.п.), позволяет обеспечить переход от целевой выборки-«посева» к собственно вероятностной выборке с поддающейся оцениванию ненулевой вероятностью попадания в выборку для каждого респондента. Возникающие в процессе отбора различия в вероятности включения в выборку, а также соответствующие систематические смещения могут быть учтены в оценках параметров, поскольку сам процесс создания сетевой выборки в данном случае позволяет получать необходимую априорную информацию о целевой генеральной совокупности (кто кого рекрутировал, каков состав личных связей в совокупности для каждого последующего звена и т.п.). Отметим, что в отличие от более традиционных выборочных методов собственно основа выборки (sampling frame) здесь создается после завершения отбора на основе информации о респондентах и их социальных связях, собранной в этом процессе.

Каковы перспективы использования методологии RDS в онлайн исследованиях? Хотя недавние методические эксперименты с использованием этого подхода в онлайн опросах показали не очень высокую точность получаемых выборочных оценок для сравнительно небольших совокупностей (при многократно превосходящей традиционные методы выборочных опросов дешевизне и скорости построения выборки) [10], нам представляется, что в ближайшем будущем в этой области возможны радикальные методические новации. Открывающиеся возможности связаны с потенциальным переходом от построения RDS-выборок институционально замкнутых групп (например, студентов конкретного университета) к потенциально неограниченным и многомерным, т.е. определяемым на основе множества переменных-признаков, популяциям, использующим в качестве платформ для коммуникации и взаимодействия современные социальные сети5 (MySpace, Facebook, «ВКонтакте» и т.п.). Преимущества использования таких базирующихся на интернет-платформах социальных сетей для построения RDS-выборок очевидны: необходимая для оценивания выборочной ошибки личная информация о социально-демографических характеристиках потенциальных первичных респондентов и их списки контактов принципиально доступны для исследователей до начала самой процедуры построения выборки. Эта информация с легкостью может быть использована для оценки и коррекции выборки в процессе ее построения (а не апостериорно). В частности, более точной оценке уже на первом этапе отбора могут быть подвергнуты «коммуникативные возможности» первичных респондентов. (Известно, что эффективность выборки такого типа связана с возможностью изначально отобрать небольшое количество super-seeds — респондентов, дающих начало длинным цепям рекрутирования и имеющих высокую «степень», определяемую через количество социальных связей в исследуемой совокупности.) Кроме того, социальные сети содержат много априорной информации о целевых совокупностях и первичных социальных группах, представляющих значительный исследовательский интерес, однако не имеющих однозначно заданной институциональной принадлежности (т.е., например, не студенты конкретного учебного заведения, а студенты-гуманитарии, не члены локальных киноклубов, а любители кино и т.п.), что позволяет использовать множественные основы выборки6.

Заметим, однако, что все эти новые возможности требуют ускоренной работы над созданием методических и этических «кодексов» онлайн исследований, а также ответственных за их воплощение в жизнь выборных органов профессиональной саморегуляции и контроля. Это позволит уменьшить опасность ведущей к росту доли неответов неоправданной эксплуатации потенциальных респондентов (особенно реальной в силу легкости доступа в данное исследовательское поле для непрофессиональных исследователей) и создать минимальные барьеры для злоупотреблений возможностями социальных сетей в пропагандистских, рекламных и иных целях, не связанных с производством такого публичного блага, как научное знание об обществе или отдельных социальных группах.

Говоря о перспективах и опасностях использования многообразной информации о группах и индивидах, разбросанной во Всемирной сети, нельзя не упомянуть о тех тенденциях массового персонального профилирования, не основанного на информированном согласии трекинга сетевого поведения и, говоря шире, применения неопросных и не предполагающих контакта с изучаемыми индивидами подходов к получению онлайн данных, которые довольно отчетливо проявились в последние несколько лет. Методы сбора и анализа данных об индивидуальных предпочтениях, субъективных семантических пространствах (индивидуальных и групповых системах значений), автоматизированного контент-анализа публичных и частных документов, исходно разрабатывавшиеся психологами и социологами, в силу многократного увеличения доступности «дружелюбных к непрофессиональному пользователю» средств автоматизированного анализа данных, а также экспоненциального роста корпуса сетевых документов и их метаописаний стали все чаще применяться для альтернативных академическим и прикладным исследованиям целей — коммерческого и некоммерческого сбора персонализированной информации о предпочтениях, убеждениях и поведении, не предполагающего информированного согласия исследуемых индивидов, а также «невключенного» (т.е. скрытного, иногда с использованием троянских программ) наблюдения за отдельными пользователями и их группами. Разумеется, такого рода «исследованием мнений», помимо социологов, психологов и культурологов, издавна занимались разного рода спецслужбы и самодеятельные энтузиасты сыска, однако нынешние масштабы явления создают ощутимую угрозу возможностям добросовестного использования сетевой информации в науч- ных или практических целях. Можно ожидать, что растущее общественное осознание скрытых здесь угроз личным свободам приведет в ближайшем будущем к трансформации по крайней мере некоторых национальных законодательств, определяющих границы между приватным и публичным и ограждающих граждан от несанкционированного сбора явно или неявно представленной в сети персональной информации. Однако существует как минимум две причины для того, чтобы работающие в области социальных наук исследователи осознали существующие здесь проблемы в качестве не только общегражданских, но и профессионально значимых. Во-первых, генерирование разного рода информационного шума, описывающего результаты таких «сетевых наблюдений», ведет к определенной инфляции валидных исследовательских данных, по крайней мере в глазах части потенциальных заказчиков и потребителей7 подрывая сложившиеся основы исследовательской роли социолога. Во-вторых, несколько замедленная реакция специалистов по методологии социальных наук на быстрые изменения способов и технологий онлайн репрезентации социальной информации приводит не только к утрате исследовательских возможностей, но и к снижению статуса социологической методологии в глазах представителей других наук. Успехи в разработке новых методов исследования в значительной мере обеспечили дисциплинарную автономию и престиж нашей науки. В 1930–1950-е гг. в схожей ситуации революционных изменений в средствах массовой коммуникации работы П. Лазарсфельда и его коллег, в частности в области исследования социальных эффектов новых медиа [12; 13] и процессов распространения личного влияния на установки, мнения и предпочтения в первичных группах и территориальных сообществах [14; 15], привели к формированию того, что сейчас воспринимается и внутри нашей дисциплины, и за ее пределами как методологическое «ядро» социологии. Для того чтобы сохранить способность к лидерству и сегодня, социологическая методология должна ускорить продвижение в разработке новых методов анализа агрегированной онлайн информации, новых подходов к контент-анализу символических репрезентаций, новых моделей, описывающих распространение социального влияния и трансляцию мнений и предпочтений во Всемирной сети, сопоставимых с теми блестящими результатами, которые были получены более полувека назад ее отцами-основателями.

Литература

1. Toepoel V, Das M, and A. Van Soest. Effects ofDesign in Web Surveys: Comparing Trained and Fresh Respondents // Public Opinion Quarterly. 2008. Vol. 72(5). P. 985–1007; doi:10.1093/poq/nfn060.

2. Schonlau M, Van Soest A, Kapteyn A, Couper M. Selection Bias in Web Surveys and the Use ofPropensity Scores // Sociological Methods and Research. 2009. Vol. 37. # 3 (February). P. 291–318; doi:10.1177/0049124108327128.

3. Nathan G. Internet Surveys // Encyclopedia of Survey Research Methods. 2008. SAGE Publications. 20 Mar. 2009. <//www.sage-ereference.com/survey/Article_n234.html>.

4. Barchard K. A, Williams J. Practical Advice for Conducting Ethical Online Experiments and Questionnaires for United States Psychologists // Behavior Research Methods. Vol. 40. # 4. P. 1111–1128. doi: 10.3758/BRM.40.4.1111.

5. Девятко И. Ф. Причинность в обыденном сознании и в социологическом объяснении: контуры нового исследовательского подхода / / Социология: 4М (методология, методы, математическое моделирование). 2007. № 25. С. 5–21.

6. Coleman J. S. Relational Analysis: The Study ofSocial Organization with Survey Methods // Human Organization. 1958–1059.Vol. 17. P. 28–36.

7. Goodman L. A. Snowball Sampling // Ann. Math. Statist. 1961. Vol. 32. # 1. P. 148–170.

8. Heckatorn D. Respondent-Driven Sampling: A New Approach to the Study of Hidden Populations // Social Problems. 1997. Vol. 44. P. 174–199.

9. Salganik M. and D. D. Heckatorn. Sampling and Estimation in Hidden Populations Using Respondent-Driven Sampling // Sociological Methodology. 2004. Vol. P. 193–239.

10. Weinert C, Heckathorn D.D. Web-Based Net Sampling: Efficiency and Efficacy ofRes- pondent-Driven Sampling for Online Research // Sociological Methods and Research. 2008. Vol. 37. #1 (August). P. 105–134. doi: 10.1177/0049124108318333.

11. Wray R Facebook aims to market its user data bank to businesses // Guardian. Sunday, February 1, 2009. //www.guardian.co.uk:80/business/2009/feb/01/facebook-seeks- to-exploit-user-information.

12. Lazarsfeld P. F. Radio and the Printed Page: An Introduction to the Study ofRadio and Its Role in the Communication ofldeas. New York: Duell, Sloan and Pearce, 1940.

13. Lazarsfeld P. F, Merton R K. Mass Communication, Popular Taste and Organized Social Action / / Lyman Bryson, ed. Communication of Ideas. New York: Harper & Brothers, 1948. P. 95–118.

14. Lazarsfeld P. F, Berelson B, and H. Gaudet. The People's Choice: How the Voter Makes Up His Mind in a Presidential Campaign. New York: Duell, Sloan and Pearce, 1944.

15. Lazarsfeld P., and E. Katz. Personal Influence: The Part Played by People in the Flow of Mass Communications. Glencoe, IL: Free Press, 1955.

Борьба за качество и надежность данных в онлайн исследованиях.

Мавлетова Айгуль Маратовна (Online Market Intelligence)

По мере увеличения количества онлайн панелей в западных странах заказчики онлайн исследований начали выражать сомнения относительно качества полученных данных. В 2006 году компания Comscore Networks выступает на конференции CASRO с шокирующим по содержанию для исследовательской области докладом, в котором утверждается, что более 30% онлайн исследований проводятся на основе опроса всего 1% населения. Проблема связана со множественным членством респондентов в панелях. Уже в 2005 году Пит Кумли, председатель компании Virtual Surveys, фиксирует, что более 75% панелистов являются участниками трех и более панелей [1]. Ник Спэрроу предполагает, что панельные провайдеры должны находить новые источники рекрутирования респондентов, не используемые другими компаниями, для того чтобы минимизировать количество профессиональных респондентов. Однако в любом случае, уверен Н. Спэрроу, «незатронутые другими компаниями респонденты останутся членами одного проекта только до тех пор, пока не поймут, что можно заработать больше денег, присоединяясь к еще ряду онлайн панелей» [2, p. 182]. Проблема усугубляется тем, что панелисты регистрируются не только в нескольких панелях одновременно, но и в одной панели под разными именами и электронными почтовыми ящиками.

Другим источником ошибки выступает эффект от постоянного участия в опросах (так называемый эффект «приспособления» — panel conditioning). Эффект состоит в том, что ответы тех людей, которые принимают участие в опросах на регулярной основе, отличаются от ответов респондентов, принимающих участие в опросе впервые. Можно предположить, что сам факт участия респондента в панельных исследованиях оказывает влияние на ответы, оценки и поведение индивидов. Рег Бейкер приводит пример исследования, проведенного компанией General Mills на основе построения двух выборок одной онлайн access-панели. Проблема оказалась в том, что в двух выборках были обнаружены прямо противоположные результаты. Исследователи General Mills предположили, что одним из наиболее значимых факторов, повлиявших на результаты, был опыт участия респондентов в панели: в выборке, в которой индивиды имели меньший опыт участия в опросах, отнеслись к тестируемой концепции положительно в противоположность второй выборке, в которой опыт участия респондентов в панели был более продолжительным [3].

Третья проблема видится в респондентах, некачественно заполняющих анкеты. Отсутствие фигуры интервьюера, который не только ведет интервью, но и проверяет искренность респондента на основе наблюдений за поведением опрашиваемого, приводит к введению технологических проверок за ответами респондентов в онлайн анкетах. В целом, по данным исследованиям Harris Interactive, около 75% респондентов допускают как минимум одну ошибку в опросе [4, p. 1]. Каким же образом можно убедиться, что респондент действительно читал вопросы и внимательно заполнял анкету, если нет фигуры интервьюера, выполняющего функцию визуального контроля над процессом заполнения анкеты? Данный вопрос и по сей день волнует многих заказчиков онлайн исследований.

Каковы основные решения в области качества данных в онлайн опросах, которые предлагают международные панельные провайдеры на сегодняшний день? В данной обзорной статье мы рассмотрим вопросы и предлагаемые решения, которые обсуждались на конференции CASRO (Council of American Survey Research Organizations) по онлайн панелям 2009 года. Мы рассмотрим основные методологические работы, представленные на конференции.

1. Методы повышения качества полученных данных

Отметим, что ответственным за качество данных в панельных онлайн исследованиях становится именно респондент — участник, отвечающий на вопросы исследователя. Насколько правильно сводить качество опросов к ответам респондентов и проблеме «карьеры» панелиста, не затрагивая обсуждения фундаментальных индикаторов качества данных и исследовательского инструментария, мы оставим за скобками данной статьи, ибо это требует написания отдельной работы. Мы лишь можем предположить, что тенденция сведения проверки качества данных к ответам респондента и его прошлой истории участия в опросах в методологии онлайн исследований функционально заменяет известный «эффект интервьюера» в личных опросах, когда ответственность за ошибки исследования перекладывается именно на эту фигуру.

Итак, первая ось пространства — проблема идентификации панелиста, которая с развитием практики подключения нескольких панелей для выполнения одного исследовательского проекта трансформируется в проблему дубликатов со следующей формулировкой: «Как избежать повторного заполнения анкеты в случае приглашения одного и того же респондента в нескольких панелях?» Исследовательской индустрией предлагаются технические решения. Одно из самых обсуждаемых решений в последнее время является технология digital fingerprinting, которая позволяет считывать ряд параметров с компьютера таким образом, чтобы у респондента не было возможности повторно заполнить анкету.

Вторая ось, являющаяся главным показателем качества данных, — это ответы респондентов. Одна из проблем, которую пытаются решить исследователи в онлайн опросах, — повышение мотивации респондентов к внимательному прочтению и заполнению анкет, длительность которых в среднем не бывает меньше 20 минут. Панельные провайдеры направляют свои усилия на повышение интереса респондентов к заполнению анкет, пусть даже самых длинных, утомительных и скучных.

На конференции были рассмотрены три основных способа увеличения вовлеченности респондентов в процесс заполнения анкеты:

— изменение структуры вознаграждения,

— включение проверочных утверждений и вопросов в анкету, повышающих внимание респондентов,

— изменение внешнего вида программируемых анкет.

Изменение структуры вознаграждения

Одна из самых интересных и оригинальных идей, озвученных на конференции, была посвящена материальным методам повышения мотивации респондентов и представлена Калин Карлин (Market Strategies International) и Шанам Эйдсанам (e-Rewards) в докладе «Структура вознаграждения панелистов» [5].

По словам К. Карлин и Ш. Эйдсона, достаточно много внимания исследователи уделяют методам идентификации респондентов, некачественно заполняющих анкету или несколько раз зарегистрировавшихся в панели. Однако при этом практически не затрагивают тему компенсационной структуры, используемой в панели, хотя ее следует рассматривать как один из эффективных инструментов управления мотивацией участников панели. Время заполнения анкеты является наиболее значимым и широко принятым фактором проверки качества онлайн данных. Если рассуждать от обратного, то на вопрос: «Как можно увеличить качество данных?» — один из очевидных ответов, который можно получить: «Мотивировать респондента тратить на заполнение анкеты больше времени и заполнять ее более внимательно».

Логика эксперимента заключается в следующем: следуя базовым предположениям теории справедливости, можно предложить респонденту размер вознаграждения, который будет зависеть от времени заполнения анкеты. Таким образом, предполагается, что следует, с одной стороны, зафиксировать временную шкалу, а с другой — шкалу вознаграждения и в приглашении к исследованию указать, какое вознаграждение предполагается начислить респонденту в зависимости от времени заполнения. Например, в проводившемся эксперименте исследователи предложили следующую шкалу:

16 минут и больше — $5 (в валюте e-Rewards),

14–15 минут — $4,50,

12–13 минут — $4,00,

10–11 минут — $3,50,

8–9 минут — $3,00,

6–7 минут — $2,50,

Менее 6 минут — $0,50.

Как только респондент переходил на анкету, он видел на экране таймер, показывающий время выполнения опроса. Контрольной группе (состоящей из 500 респондентов) был предложен стандартный формат с единым размером вознаграждения, а экспериментальной группе (также состоящей из 500 респондентов) была предложена ступенчатая форма вознаграждения в зависимости от времени заполнения опроса. Кроме того, в каждую группу включили подвыборку в100 панелистов, которые в предыдущих опросах были классифицированы e-Rewards как speedsters, т.е. респонденты, слишком быстро заполняющие анкеты.

Результаты исследования показали, что в экспериментальной группе участники тратили на заполнение анкеты больше времени (в среднем на 1,3 минуты), при этом различие оказалось статистически значимым на уровне p = 0,001. При этом различие сохраняется при отдельном сравнении подвыборки speedsters, так и группы non-speedsters (см. Таблицу 1).

[Таблица 1]

Экспериментальная группа, время (в минутах)

Контрольная группа, время (в минутах)

Различие

Вся выборка

Среднее время

16,15

14,86

1,29 (значимо на уровне 0,001)

Медиана

15,00

13,18

1,82

Non-speedsters

Среднее время

17,00

15,83

1,17 (значимо на уровне 0,05)

Медиана

16,00

14,10

1,90

Speedsters

Среднее время

12,80

11,03

1,77 (значимо на уровне 0,05)

Медиана

12,43

9,32

3,11

Однако можно предположить, что стратегия премирования участников опроса стимулирует только лишь тактику затягивания ответа и не влияет на качество полученных ответов. Поэтому исследователи сравнили качество данных в обеих группах по следующим критериям:

— внутренняя надежность данных,

— внутренняя консистентность,

— ответы на табличные вопросы,

— ответы на открытые вопросы.

Внутренняя надежность проверялась по пулу утверждений относительно удовлетворенности респондентов качеством жизни. Применялась оценка надежности-согласованности данных методом расщепления пополам (первая часть утверждений была размещена в начале анкеты, вторая часть — в конце). Ответы респондентов в экспериментальной группе имели большую корреляцию между первой и второй частью утверждений по сравнению с контрольной группой. Кроме того, в контрольной группе оказалось немного больше респондентов, у которых дисперсия в ответах на проверяемые вопросы была больше двух стандартных отклонений: 3,8% в контрольной группе против 2% в экспериментальной. Однако отличия не являлись статистически значимыми.

Для определения консистентности полученных данных исследователи проверяли вопросы о знании и покупке брендов. Ответы считались внутренне неконсистентными в том случае, если панелисты отмечали бренд как незнакомый, но в то же время как тот, который они уже когда-то покупали. Только 20 панелистов дали неконсистентные ответы, 65,5% из которых были в контрольной группе.

Другим критерием проверки качества данных являются ответы на длинные табличные вопросы. Анкета содержала 20 табличных вопросов, в среднем состоявших из 7 утверждений. Исследователи подсчитали процент респондентов, которые по крайней мере в 11 из 20 вопросах отмечали в основном только одну колонку (так называемые straightliners): их оказалось 14% в экспериментальной группе и 17,9% — в контрольной. Различия были близки к статистически значимым (p = 0,054).

В конце опроса респондентов просили написать свое мнение об опросе. В экспериментальной группе осмысленные ответы дали 41,5% участников, в контрольной — 34,2%. Авторы резюмируют: несмотря на то, что по ряду критериев между группами получились статистически незначимые отличия, эксперимент может породить другие гипотезы, касающиеся использования компенсационной структуры как инструмента управления мотивацией панелистов.

Изменение структуры вознаграждения в зависимости от длительности интервью является достаточно новой для индустрии идеей, которая требует дальнейшей разработки и верификации, однако базовым для определения качества данных остается включение в анкету проверочных утверждений на внимание респондента, контрольные вопросы, а также вопросы-ловушки.

Включение проверочных утверждений и вопросов в анкету

Мелани Катрайт (DMS) в докладе «Дьявол в данных. Классификация респондентов» предлагает типологию респондентов на основании качества полученных данных [6]. Компания DMS провела опрос 6700 респондентов, качество данных в котором проверялось по следующим критериям:

1. Время заполнения анкеты: среднее время заполнения анкеты составило 17 минут, а респонденты, заполнившие опрос меньше чем за 9 минут, были классифицированы как speedsters.

2. Ответы в табличных вопросах: в анкете имелось два табличных вопроса с 10 и 16 утверждениями. Если респондент отмечал только одну колонку в одном табличном вопросе, он классифицировался как straightliner.

3. Надежность ответов проверялась следующим образом:

— в начале и конце анкеты респонденту задавался один и тот же вопрос о количестве детей до 18 лет, проживающих в домохозяйстве;

— респонденту давали оценить согласие с противоречивыми утверждениями: например, «Цена для меня более важна, чем бренд», «Бренд для меня более важен, чем цена».

4. Ответы на открытые вопросы.

5. Проверочные вопросы: ответ на утверждение таблице «Обозначьте Ваше положение в анкете, отметив колонку 3».

6. Подсчет процента отказов от ответов в вопросах для каждого участника.

Мелани Котрайт предлагает следующую типологию панелистов:

— «Идеальные» респонденты (29%) — респонденты, полностью прошедшие все процедуры качества. Как правило, это старшая возрастная группа, состоящая в основном из женщин.

— «Типичные» (40%) респонденты, которые не прошли по одному критерию. По социально-демографическим характеристикам эти респонденты схожи с группой «идеальных» респондентов.

— «Несовершенные» респонденты (27%) — не прошедшие по двум-трем критериям. Большую долю в данной группе занимают мужчины 18–24 лет.

— «Худшие» респонденты (4%) — не прошедшие процедуры качества по четырем и более критериям. По социально- демографическим характеристикам эти респонденты схожи с группой «несовершенных» респондентов.

Таким образом, профиль группы «худших» респондентов в США выглядит следующим образом:

— скорее мужчины, чем женщины;

— молодая возрастная группа;

— имеют доход ниже среднего;

— скорее не белое население США;

— большую долю составляют домохозяйства с детьми.

По результатам анализа полученных данных компания DMS приходит к выводу о том, каких процедур следует придерживаться для выявления недобросовестно заполненных анкет:

1. Проверять время заполнения опроса.

2. Вставлять в анкету простые проверочные утверждения, а также несколько противоречивых утверждений.

3. Подсчитывать процент отказов от ответа по каждому респонденту.

Если Мелани Котрайт ставит задачу выявления недобросовестных панелистов и удаления их ответов из базы данных, то Джефри Миллер и Джеми Бейкер-Прюит (Burke) в докладе «Использование вопросов-ловушек для уменьшения вероятности недобросовестного поведения панелистов» ставят вопрос более интересно, а именно: «Как с помощью ловушек мотивировать респондентов давать более осмысленные ответы на вопросы анкеты?» [7]. Главная функция вопросов-ловушек, по их мнению, должна заключаться не в том, чтобы найти респондентов, невнимательно заполняющих опрос, а, наоборот, в том, чтобы мотивировать респондентов внимательно отнестись к заполнению анкеты. Вследствие этого, предположили исследователи, ловушки следует давать в самом начале опроса.

Компания Burke провела опрос 1200 панелистов (октябрь, 2008). Помимо других вопросов анкета включала 109 табличных утверждений. В среднем время заполнения анкеты составило 17,5 минуты. Респонденты были случайным образом разделены на 4 группы:

1. Контрольная группа.

2. Первая экспериментальная группа с включением в начале анкеты табличного утверждения «Пожалуйста, отметьте 2 в строке, чтобы начать опрос».

3. Вторая экспериментальная группа с включением в анкету противоречивых утверждений.

4. Третья экспериментальная группа с включением в анкету просьбы исследователя внимательно заполнять анкету и давать осмысленные ответы.

Время заполнения анкеты в четырех группах практически не различалось. Респонденты, заполнившие анкету менее чем за 7 минут, классифицировались как speedsters: в контрольной ячейке их оказалось 10%, в первой экспериментальной группе («Отметьте ответ 2 в строке») — 5%, во второй экспериментальной группе — 7% и, наконец, в третьей экспериментальной группе — 8%.

Помимо того, что в первой экспериментальной группе опрос начинался с утверждения «Пожалуйста, отметьте 2 в строке, чтобы начать опрос», во всех группах в вопросах 40 и 83 в ряде утверждений давался следующий вопрос: «Обозначьте Ваше положение в анкете, отметив колонку 2». В контрольной ячейке процент респондентов, не отметивших 2 в двух вопросах, составил 18%, в первой экспериментальной группе их оказалось 8%, во второй экспериментальной группе — 15% и наконец, в третьей экспериментальной группе — 16%. Более того, результаты исследования показывают, что в первой экспериментальной группе 83% респондентов, неправильно отметивших ответ в вопросе-ловушке, не смогли пройти подобную ловушку в вопросе №40. Во второй экспериментальной группе 36% респондентов, давших противоречивые ответы, также не смогли пройти ловушку в вопросе №40.

Результаты эксперимента также показывают, что включение утверждения «Пожалуйста, отметьте 2 в строке, чтобы начать опрос» уменьшает процент респондентов, отмечающих одну колонку в табличных утверждениях (straightliners): 16% в контрольной ячейке, 10% — в первой экспериментальной группе, 12% — во второй экспериментальной группе, 13% — в третьей экспериментальной группе.

Наконец, на основе нескольких критериев авторы построили так называемый индекс обмана и выявили, что наиболее невнимательные респонденты были обнаружены в контрольной группе (14%), наименьшее — в экспериментальной группе №1 (9%).

Таким образом, резюмируют авторы, помещение нескольких вопросов-ловушек в самом начале опроса повышает внимательность и мотивацию респондентов к заполнению анкеты. Наиболее эффективным инструментом исследователи находят включение в анкету просьбы «Пожалуйста, отметьте ответ 2 в строке» в самом начале опроса. Менее эффективным — включение в анкету противоречивых утверждений. Практически неэффективным — просьбу исследователя внимательно заполнять анкету и давать осмысленные ответы.

По мере того как респонденты привыкают к однообразным HTML-анкетам, а исследователи создают все более длинные анкеты с сотнями табличных утверждений, панельные провайдеры приходят к выводу о том, что изменение визуального вида инструментария, а также Flash-программирование может намного повысить внимательность участников опороса.

Изменение внешнего вида программируемых анкет

Одним из признанных способов повышения мотивации респондентов к заполнению анкет является создание более привлекательного дизайна анкет. Этой тематике был посвящен доклад Дженнифер Дролет (iModerate Research Technologies), Эллис Батлер (M/A/R/C Research) и Стива Дэвиса (e-Rewards) «Фактор усталости от опроса: Насколько важно восприятие респондентом длины анкеты?» [8]. Исследователи провели 30-минутный опрос 1132 панелистов, 50% из которых показывалась стандартная анкета, другим 50% — более интересная и легко заполняемая анкета.

Исследователи сравнивали поведение панелистов, а также их комментарии и оценки относительно следующих различий в дизайне анкеты:

— Статичные окошки vs Появляющиеся окошки

— Табличный вопрос vs Сортировка логотипов (drag and drop)

— Длинные таблицы vs Короткие таблицы

— Табличная оценка (традиционная шкала) vs Слайдер

Статичные окошки vs Появляющиеся окошки

В вопросе «Какие фастфуд-рестораны Вы можете вспомнить?» исследователи предложили два способа представления окошек для вписывания ответов: 10 статичных окошек в первом варианте анкеты (так называемой «традиционной») и окошки, которые появляются только после написания предыдущих ответов (например, второе окошко появляется только после того, как респондент вписал ответ в первое и т.д.). Однако в первом варианте анкеты респонденты написали в среднем больше ресторанов: 7,1 против 5,2 при одинаковой степени удовлетворенности вопросом.

Табличный вопрос vs Сортировка логотипов (draganddrop)

Ответы на вопрос «Когда Вы в последний раз посетили каждый из следующих ресторанов?» в первом варианте анкеты были представлены в виде стандартных колонок («За последние 4 недели», «В течение последних 1–3 месяцев», «В течение последних 4–12 месяцев», «Больше года тому назад»), во втором варианте анкеты — в качестве «корзинок», в которые складывались логотипы тестируемых ресторанов. Полученные данные практически не различались, однако степень удовлетворенности от заполнения анкеты во второй группе была значительно выше.

Длинные таблицы vs Короткие таблицы .

Сравнивая ответы, которые дали респонденты при размещении 21 утверждения на одном экране и при их делении на 3 экрана по 7 утверждений, практически не наблюдали различий между данными, а также между степенью удовлетворенностью от заполнения анкеты. Однако выявили, что в случае коротких таблиц респондент более качественно заполняет анкету (меньше так называемых straightliners).

Табличная оценка (традиционная шкала) vs Слайдер

Сравнивая традиционную шкалу и слайдер, исследователи делают вывод, что даже при отсутствии статистически значимых различий между полученными результатами респонденты находят более привлекательными и интересными слайдеры.

В конце опроса респондентам предлагалось оценить, насколько длинной и интересной им показалась анкета. Несмотря на то, что во второй группе больше респондентов оценило анкету как «очень длинную» (57% против 50% в первой группе), в то же время респонденты оценили ее и как интересную (51% против 33% в первой группе).

Таким образом, управление вознаграждением, включение проверочных вопросов, а также изменение дизайна анкет являются наиболее обсуждаемыми методами повышения качества полученных данных в области онлайн исследований. Однако другая проблема, которая стоит перед онлайн панелями в западных странах, — наличие «профессиональных» респондентов. Одно из предлагаемых решений в данном случае — построение выборок, включающих не только онлайн панели, но и другие источники, например выборки, набираемые в режиме реального времени (river sampling). Рассмотрим это далее в работе.

2. Построение эффективных выборок, или проблема «профессиональных» респондентов

Второй блок представленных исследований был посвящен вопросу новых типов источников онлайн выборки и построению эффективных выборок посредством совмещения нескольких источников рекрутирования респондентов.

Стивен Джиттельмен (Mktg.Inc.) в докладе «По дороге к ясности: различия между источниками выборки» сравнил между собой результаты одного исследования, проведенного на основе опроса 14 панелей, одной социальной сети и 3 выборок, набираемых в режиме реального времени (river sampling) [9]. Исследователь, проанализировав полученные результаты, утверждает, что онлайн панели смещены в сторону «профессиональных» респондентов, определяемых следующим образом:

— респонденты, принимающие участие в онлайн исследованиях практически каждый день;

— респонденты, которые в открытых вопросах признаются, что заполнили более 30 анкет за последний месяц;

— респонденты, являющиеся участниками более 5 панелей.

Исследователей рынка волнует основной для индустрии вопрос: каким образом характеристики респондентов влияют на покупательское поведение? Какие поведенческие паттерны присущи тому или иному источнику онлайн выборки? И наконец, каким образом можно построить «эффективную» выборку? С. Джиттельмен приходит к выводу, что оптимальную выборку при минимизации ошибки опроса на основании переменной «уровень образования» и количества источников выборки можно построить следующим образом:

40% — выборка в режиме реального времени,

40% — панель №1,

20% — панель №2 из 14 тестируемых.

Если С. Джиттельмен не включает в итоговую выборку респондентов, рекрутируемых из социальных сетей, то Ани Пти (Ipsos Interactive Services) и Сайман Чедвик (Peanut Labs) в докладе «Социальные сети как дополнительный источник выборки в маркетинговых исследованиях» утверждают, что посредством социальных сетей исследователь получает возможность опросить «непрофессиональных» респондентов, имеющих низкий уровень откликов в онлайн панелях (например, молодые мужчины в возрасте 18–24 лет), а также в связи с развитием узкоспециализированных сетей — возможность опросить труднодостижимые группы в кратчайшие сроки [10].

Кристин Люк (Decipher) в докладе «Эффективные стратегии для управления проектами с несколькими источниками онлайн выборки» рассматривает достоинства и недостатки каждого типа выборки [11]. В качестве плюсов традиционных панелей можно выделить широкие возможности рекрутинга и профилирования участников. В качестве очевидного минуса — репрезентацию не более 10% населения США. Широкий охват и наличие «непрофессиональных» респондентов являются достоинствами опросов участников онлайн сообществ и выборок, набираемых в режиме реального времени. Однако при использовании данных типов выборки проблемы возникают с таргетингом в связи с отсутствием профильной информации.

Несмотря на пока относительно низкую популярность привлечения нескольких источников выборки, связанную прежде всего с организационными сложностями и увеличением стоимости поля, индустрия, по мнению К. Люк, будет постепенно отходить от использования одного типа выборки (в основном традиционных панелей) к использованию нескольких источников. Это связано не только с появлением профессиональных респондентов, но и с проблемой эффекта «созревания» панелистов. Эффект определяется провайдерами как временное влияние на ответы респондентов, которое может быть зафиксировано в онлайн опросах, проводимых по одной теме. В этой связи многие компании вводят временные периоды «карантина» и исключают из выборки респондентов, которые участвовали в исследовании в той же тематической категории за определенный период времени. Как это влияет на качество данных — рассмотрим далее.

3. Вопросы качества данных и управления полевым проектом

Третий блок представленных работ был посвящен вопросам управления проектом. В нем можно выделить следующие темы:

— локауты, или временные периоды «карантина»;

— оптимальное время для проведения полевых работ: нет ли смещения в результатах опроса, если поле проходит в течение 48 часов?

Филипп Гарланд (SSI), Дебра Сантас и Рена Уппал (Ipsos Interactive Services) в докладе «Локауты: не слишком ли мы предусмотрительны?» рассматривают как несоблюдение локаутов может влиять на качество полученных данных [12].

Многие панельные провайдеры вводят временные периоды «карантина» и исключают из выборки респондентов, которые участвовали в исследовании в той же тематической категории. Какова может быть цена локаутов? Во-первых, они порождают негативный опыт в той степени, в которой панелисты получают меньшее количество приглашений. Во-вторых, они уменьшают количество подходящих под критерии опроса респондентов, соответственно, уменьшают возможное количество набранных интервью.

Исследователи из SSI и Ipsos Interactive Services задают два основных вопроса:

— Действительно ли локауты помогают улучшить качество данных, а несоблюдение временного «карантина» является источником ошибки?

— Если следует вводить «карантин», то какой временной период должен быть утвержден?

Для ответа на эти вопросы исследователи провели эксперимент с тремя экспериментальными и одной контрольной группой. Все респонденты рекрутировались посредством случайного телефонного опроса (RDD) и опрашивались через Интернет. В контрольной группе опрос проводился один раз, в экспериментальных группах один и тот же опрос проводился с разной частотой на протяжении 5 недель. В экспериментальной группе №1 опрос проводился раз в неделю, группе №2 — два раза в неделю, группе №3 — раз в месяц.

Проанализировав результаты эксперимента, исследователи не обнаружили статистически значимых различий между группами как в вопросах о знании продуктов, потребительском поведении (пользование брендами, продуктами), так и в вопросах медиапредпочтений и социально-политических установок. Проверив влияние участия в опросах на валидность и надежность данных, исследователи выявили, что коэффициент альфа Кронбаха оказался немного ниже в экспериментальных группах 1 и 2, что свидетельствует об уменьшении надежности данных при увеличении частоты участия в одном и том же опросе. Кроме того, в экспериментальных группах оказалось немного больше ответов «Затрудняюсь ответить» и отказов от ответа. Однако несмотря на это Филипп Гарланд, Дебра Сантас и Рена Уппал не получили доказательств того, что несоблюдение локаутов влияет на ответы респондентов и качество полученных данных.

Дон Эмброуз и Кэри Муайер (Consumer Contact) в докладе «Запоздавшие респонденты: влияют ли они на данные?» рассматривают, как отведенное время на полевые работы влияет на полученные данные [13]. Исследователи провели эксперимент с контрольной группой, в которой поле продолжалось на протяжении 10 дней, и экспериментальной группой, в которой поле длилось в течение 48 часов. Авторы делают выводы, что в целом респонденты не различались по региону и полу, однако немного различались по возрасту. Последнее можно контролировать посредством введенных квот или применения взвешивания. Главный вывод работы — данные, полученные за 48 часов, — статистически значимо не отличаются от данных, полученных за 10 дней. «Если поле проходит дольше 2–3 дней, это не улучшает качества полученных данных», — заключают Дон Эмброуз и Кэрри Муайер.

Итак, результаты исследований показывают: нет доказательств того, что введение локаутов, а также увеличение времени для проведения полевых работ увеличивают качество данных в онлайн опросах.

Заключение

Что ожидает маркетинговую индустрию онлайн исследований в ближайшем будущем? Участники CASRO предполагают, что будущее — за мобильными онлайн панелями, за построением онлайн выборок, состоящих из разных источников рекрутирования, за множеством технологических новаций, которые позволят идентифицировать повторное или невнимательное заполнение опроса респондентом, за более красивым дизайном онлайн анкет и, хотелось бы в это верить, за более интересным исследовательским инструментарием.

Литература

1. Comley P. Understanding the online panelist // Paper presented at the Annual ESOMAR World Research Conference. 2005.

2. Sparrow N. Quality issues in online research // Journal of Advertising Research. 2007. Vol. 47. No. 2. P. 179–182.

3. Baker R. Caught in the Web // Research World. June 2008. P. 9–11.

4. Smith R., Brown H. Assessing the quality ofdata from online panels: Moving forward with confidence. 2005. P. 1–5. [online] <//www.hisbonline.com/pubs/ HI_Quality_of_Data_White_Paper.pdf>

5. Carlin C, Eidson S. The compensation structure of panels // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–6.

6. CourtrightM. The Devil is in the data. A respondent classification analysis comparing the best and worst survey respondents // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–11.

7. Miller J., Baker-Prewitt J. Beyond «trapping» the undesirable panelist — the use of red herrings to reduce satisficing // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–19.

8. Davis. S, Drolet J., Butler A. The survey «burden» factor: How many important is respondent's perception of survey length // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–10.

9. Gettelman S, Trimarchi E. On the road to clarify: Differences between sample sources // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–27.

10. Petit A., Chadwick S. The complement ofsocial networks and market research // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–6.

11. Luck K. Data quality considerations when utilizing a multi-sourced sample approach // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–8.

12. Garland P., Santus D, Uppal R. Survey lockouts: Are we too cautious? // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–4.

13. Ambrose D, Ripley G, Moyer C. Late responders... do they matter? // Paper presented at the Panel Conference of the Council of American Survey Research Organizations. New Orleans, USA. 2009. P. 1–19.

Влияние заинтересованности панелистов на качество данных

Шашкин Александр Владимирович (Online Market Intelligence)

Онлайн исследования проводятся в мире уже более 15 лет, и все эти годы ведутся споры о качестве выборок и данных онлайн опросов. Профессиональные ассоциации (такие как ESOMAR, CASRO и ARF) издают специальные руководства по проведению исследований с использованием Интернета. Основная цель этих документов — описать инструменты, позволяющие снизить влияние источников выборки и методики сбора данных на качество получаемой информации. Вопросы качества также становятся основным предметом обсуждения на конференциях, посвященных онлайн исследованиям; на эту тему написан целый ряд статей и книг. Вместе с тем в большинстве этих дискуссий практически не затрагиваются вопросы взаимоотношения и коммуникации с участниками онлайн панелей — людьми, регулярно отвечающими на вопросы анкет через Интернет. Наш практический опыт проведения онлайн исследований позволил предположить, что падение процента отклика (Response Rate) и недобросовестное поведение участников онлайн панелей происходит не из-за нежелания людей принимать участие в опросах общественного мнения, их пассивности или отсутствия интереса. В погоне за мнениями о других мы нередко забываем спросить, что люди думают о нас. Результаты регулярного исследования удовлетворенности участников панели Anketka.ru компании Online Market Intelligence (OMI) помогут нам понять, «чем живут» панелисты, как они оценивают свой опыт и как меняется их отношение к проекту с течением времени. Суть нашей статьи заключается в том, что можно бесконечно придумывать изощренные методы и технологии контроля качества онлайн данных (вопросы-ловушки, цифровые отпечатки пальцев и прочее), но если не уважать фундаментальные права респондентов, не общаться с ними, не прислушиваться к их мнению и не выстраивать адекватную систему вознаграждения, эти усилия будут тщетны. На действия администрации панелей люди отвечают «симметрично»: любые ошибки и недоработки приводят к тому, что добросовестные респонденты (участвующие потому, что им нравятся опросы, или потому, что они хотят помочь производителям) покидают панели; остаются лишь те, кто участвует ради денег. Практика показывает, что именно респонденты, мотивированные заработком в Интернете, более склонны к недобросовестным действиям: созданию множества учетных записей, заполнению анкет вслепую, искажению информации о себе для прохождения анкет-фильтров и так далее.

Эмпирическая база данной статьи состоит из результатов исследования удовлетворенности участников онлайн панели Anketka.ru. Потребительская онлайн access-панель Anketka.ru была запущена в России в октябре 2007 года. До конца 2007 года панель находилась в стадии формирования, а среди участников проводилось сравнительно небольшое число исследований (в среднем менее одной заполненной анкеты в месяц на члена панели). В этот период впечатление участников о проекте базировалось главным образом на опыте пребывания на панельном портале. В начале февраля 2008 года мы провели первое исследование удовлетворенности участников панели (метод: онлайн опрос, случайная выборка N = 650, Россия). Позже панель стала использоваться все чаще (но тем не менее была далека от избыточного использования), и у людей сформировался опыт заполнения анкет и общения с панельной администрацией. Вторая волна исследования удовлетворенности была проведена в мае 2008 года; затем замеры стали регулярными и проводились ежеквартально. На момент написания статьи самыми свежими данными были результаты июльской волны 2009 года. Таким образом, у нас появилась уникальная возможность проследить изменения в восприятии панельного проекта его участниками с момента создания. Так как основные тенденции носят выраженный и постоянный характер, мы не будем приводить данные всех волн, а дадим только наиболее контрастные сравнительные результаты по первой и последней (шестой) волнам исследования.

В качестве дополнительных материалов будут использованы мнения участников различных панелей, собранные на основном форуме «профессиональных респондентов» в сети Интернет: www.oprosy.info, а также результаты регулярного наблюдения за деятельностью различных панельных провайдеров на российском рынке. Для анализа технологий и инструментов, способствующих формированию заинтересованности респондентов, будут использованы примеры панельных проектов Anketka.ru, AvtoOpros.ru и ITOpros.ru

Логика нашей статьи будет следующей: мы начнем с анализа мотивации членов онлайн панели Anketka.ru, а затем предложим базовую типологию участников панелей. После этого мы обсудим опасности, связанные с высокой долей финансово мотивированных респондентов в панелях, а также обозначим ключевые задачи панельного менеджмента. Далее мы попытаемся понять, какие свойства панели важны для разных типов респондентов, а также рассмотрим составляющие негативного опыта панелистов и обозначим основные способы их минимизации. Отдельный раздел статьи будет посвящен роли панельных порталов в процессе управления панелями. Включенное наблюдение за деятельностью различных панельных провайдеров на российском рынке позволит нам классифицировать и описать ключевые ошибки менеджмента панелей и предложить адекватные варианты решения связанных с этим задач. В статье также будут описаны некоторые используемые практические приемы, позволяющие повысить заинтересованность участников панелей и собирать качественную информацию.

Мотивация участников панели

Вопрос мотивации панелистов достаточно подробно освещается в современной литературе [см., например, 1, 2]. Основной вывод этих исследований состоит в том, что участники панели мотивируются, как правило, причинами, связанными с социальной включенностью и ответственностью (высказывая свое мнение, люди помогают улучшать продукты и услуги). В мотивации панелистов значимую роль играет любопытство и желание развлечься, а не только материальное поощрение участия в чистом виде [2, с. 113–114]. Результаты нашего исследования удовлетворенности участников панели Anketka.ru также подтверждают эти предположения (см. таблицу 1).

Таблица 1. Основные причины участия в панели Anketka.ru.

Какова основная причина Вашего участия в проекте Анкетка?

Волна 1

(февраль 2008), %

Волна 6 (июль 2009), %

[1] Мне нравится выражать свое мнение

14,3

15,2

[2] Я хочу участвовать в благотворительности

1,1

1,6

[3] Я хочу заработать деньги

17,3

16,0

[4] Я хочу, чтобы производители считались с моим мнением

23,2

25,7

[5] Мне интересно принимать участие в опросах

28,8

28,1

[6] Мне нравится узнавать о новинках на рынке

3,3

5,8

[7] Мне интересен этот проект

9,1

5,3

[8] Другие причины

0,5

0,6

[9] Не знаю

2,4

1,7

ВСЕГО

100

100

Принимая во внимание основные причины, по которым люди присоединяются к панели, можно предложить следующую базовую типологию участников:

1) «любопытные» — эта группа объединяет людей, участвующих в панели ради интереса и развлечения;

2) «ответственные» — члены этой группы хотят помочь производителям улучшить качество продуктов и услуг, а также заниматься благотворительностью;

3) «прагматичные» — эти люди заполняют опросы, прежде всего чтобы заработать деньги.

Согласно результатам нашего исследования, в панели преобладают «любопытные» участники (причины №1, 5, 6, 7) — их общая доля составляла 55,5% в первой волне проекта и осталась стабильной (54,4% в шестой волне). Доля «ответственных» панелистов (причины №2 и 4) составляла чуть менее четверти опрошенных (24,3%) в первой волне, с течением времени «ответственных» панелистов стало немного больше (27,3%). Доля «прагматичных» респондентов (причина №3) на заре существования панели составляла 17,3%; в ходе развития проекта она уменьшилась до 16%.

Приведенная типология имеет ряд важных особенностей:

1) доли каждого из описанных типов участников могут сильно отличаться в различных панелях. Преобладание людей того или иного типа зависит от многих факторов, главными из которых являются:

— характер и источники рекрутирования панели;

— особенности мотивации участников и управления панелью;

— качество и частота коммуникации с панелистами (на панельном портале, в анкетах, сообщениях администрации, новостных бюллетенях и т.д.);

2) доли респондентов различных типов меняются с течением времени. При адекватном менеджменте панели доля «прагматичных» респондентов имеет тенденцию к снижению, а доля «ответственных» — к росту;

3) мотивация участников панелей практически не зависит от пола и возраста.

Перед тем как перейти к более глубокому анализу мотивации панелистов, нам бы хотелось более пристально взглянуть на «прагматичных» респондентов. По мнению большинства исследователей, именно они представляют наибольшую опасность.

«Прагматичные» респонденты: в чем опасность?

По мнению Андрея Постоаки, большая доля панелистов, участвующих в опросах только ради денег, «должна, как правило, вызывать вопросы и опасения всех компаний, занимающихся маркетинговыми исследованиями, которым небезразлично качество их панелей» [2, c. 114].

Почему высокая доля прагматичных респондентов должна настораживать панельных провайдеров и их заказчиков? Все дело в том, что людям, участвующим в опросах ради денег, более свойственно недобросовестное поведение.

Умников, желающих нагреть руки на онлайн опросах, действительно находится довольно много: ежедневно форум посещают несколько сотен человек. Анализ суждений этих людей на форуме позволяет обозначить основные причины того, почему «прагматичные» респонденты вызывают наибольшие опасения:

1. Восприятие всех панелей, а также самой практики участия в опросах с точки зрения возможного заработка.

Анализ текстов форума www.oprosy.info показал, что не менее 80% всех суждений участников связано с вопросами оплаты: сколько, как часто, каковы способы вывода средств, сроки получения денег и призов и т.п. На форуме практически отсутствуют упоминания о других возможных мотивах участия, кроме денег. Прежде всего это формирует циничное отношение к опросам, показывает отсутствие понимания факта, что маркетинговые исследования являются практически единственным структурированным способом сбора информации, на основе которой действительно принимаются управленческие решения. Таким респондентам неинтересно узнавать новое или помогать производителям, они концентрируются только на возможности заработать.

В этой связи большое недовольство участников форума вызывают опросы, за заполнение которых предлагается мало денег либо вознаграждение не компенсирует временных затрат. Вот один из примеров такого суждения:

Можно предположить, что больше всего страдает качество ответов на анкеты с невысокой «объявленной стоимостью». Кроме того, представления о стоимости собственного времени отличаются от респондента к респонденту. Реакцией провайдеров панелей в такой ситуации может быть фиксация минимального порога цены анкеты вместе с систематическим контролем качества заполнения (в частности, проверка на скорость и внимание).

2. Множественные регистрации в панелях.

Данный тип нарушения встречается относительно редко (менее 1% участников панелей, по данным внутренних исследований OMI), так как требует существенных усилий от респондента: создание большого числа регистраций на разные электронные адреса, отслеживание приглашений и счетов, заполнение нескольких одинаковых анкет и т.п. При этом качественный менеджмент панели позволяет оперативно выявлять и удалять дублирующиеся регистрации. Также существуют технологические решения, не дающие респондентам заполнять одни и те же анкеты повторно. Именно поэтому основная доля обсуждений, касающаяся множественного членства в панелях, связана с вариантами преодоления «препятствий», которые строят владельцы панелей.

В качестве одного из способов борьбы с множественными регистрациями компания OMI решила ограничить выплаты вознаграждений панелистам только почтовыми переводами, так как этот способ предусматривает проверку паспорта перед получением денег. Кроме того, после получения запроса на обналичивание средств у панелиста дополнительно запрашивается отсканированная или сфотографированная копия паспорта.

Несмотря на регулярные попытки создания множественных регистраций в панелях, сами «профессиональные» респонденты считают такую тактику не слишком надежной и успешной. Панельные провайдеры нашли довольно эффективные способы борьбы с повторным заполнением анкет одним человеком, поэтому данный тип недобросовестного поведения имеет незначительное распространение.

3. Некорректные данные, оставляемые при регистрации и заполнении анкет.

Наиболее опасным нарушением с точки зрения качества данных является предоставление людьми ложной информации при регистрации в панели, а также в ходе прохождения опросов. Нам представляется, что данный тип недобросовестного поведения возникает в результате «профессионализации» «прагматичных» панелистов: так, они начинают понимать, что вероятность прохождения через анкету-фильтр увеличивается, если респондент удовлетворяет ряду критериев. Например, такими критериями могут быть: доход, принятие решений о покупках в домохозяйстве, место жительства, наличие ряда престижных товаров дома, пользование определенными услугами и т.п.

Важной особенностью онлайн исследований в России является то, что целевая аудитория большинства заказчиков — это жители городов-миллионников в возрасте от 25 лет. Это связано с недостаточным проникновением Интернета за пределы крупных городов, но также и с тем, что жители мегаполисов составляют основную долю потребителей самых различных товаров и услуг. После нескольких месяцев участия в панели это начинают понимать и респонденты.

После достаточно длительного участия в панели рефлексивные респонденты начинают более глубоко понимать сущность процесса отбора и даже строить собственные классификации людей, которые «никогда не пройдут» через анкету-фильтр.

Надо отметить, что честность респондентов в опросах, проводимых традиционными методами, если и могла подвергаться сомнению, то все равно практически никогда не проверялась. Считается, что люди, которые достаточно редко участвуют в опросах, дают честные ответы. Поэтому основные средства борьбы с «профессионализацией» респондентов в панелях направлены на ограничение участия: заполнение не более четырех анкет в месяц; «карантин» или «локаут» на заполнение анкет по определенным товарным категориям (три, шесть или двенадцать месяцев) и т.п.

Кроме перечисленных вариантов недобросовестного поведения, прагматичные респонденты более склонны к слишком быстрому и невнимательному заполнению анкет и иным попыткам заработать больше денег при меньших временных затратах.

Учитывая риски, связанные с прагматичными респондентами, в долгосрочной перспективе система управления панелью должна быть направлена на удержание как можно большей доли любопытных и ответственных участников. Постоака в своей монографии [2] использует данные исследования удовлетворенности панелистов, проведенного Ipsos Interactive Services (IIS) в 2002 г. Сразу после создания панели IIS доля людей, принимавших участие в опросах ради денег, составляла 12,6%. Тот же вопрос обсуждался в 2008 г. на панельной конференции CASRO в Майами, где Эни Пти (Annie Pettit) из IIS озвучила свежие результаты опроса удовлетворенности, согласно которым доля прагматичных респондентов выросла до 56%. Что же случилось за эти несколько лет? Неужели мотивация участников настолько изменилась или просто «хорошие ребята» уже успели покинуть панель? Если произошло последнее, каковы причины подобных изменений? Как можно было удержать любопытных и ответственных людей в панели на более длительный срок? Чтобы ответить на эти вопросы, нам нужно сделать следующий шаг и попытаться понять, что респонденты ценят в своем опыте участия в панели и каковы их ожидания от администраторов панельных проектов.

Ценности и желания участников панели

Опыт участников панели можно разделить на опыт пребывания на панельном портале, опыт участия в опросах/заполнения онлайн анкет и опыт общения с менеджерами панели и службой поддержки. В этой связи нам необходимо понять, какие свойства панели являются наиболее важными для ее участников, с какого рода опытом связаны эти свойства и как отношение членов панели к различным ее атрибутам меняются с течением времени.

В таблице 2 представлен рейтинг наиболее важных характеристик панели Anketka.ru, упомянутых нашими респондентами, а также сравнительные данные по первой и шестой волнам исследования удовлетворенности панелистов.

Таблица 2. Рейтинг наиболее важных характеристик онлайн панели Anketka.ru

Характеристики

Рейтинг

«Очень важно» и «Скорее важно», %

(Волна 1/6)

Волна 1

Волна 6

Интересная тема опроса

1/1

85,8

82,0

Частота получения приглашений к опросам

2/2

81,2

78,5

Отсутствие грамматических и орфографических ошибок в анкетах

3/5

62,8

66,3

Размер вознаграждения за заполнение анкеты

4/6

62,4

65,2

Возможность отвечать на экспресс-опросы

5/4

62,2

67,1

Наличие нескольких вариантов обналичивания накопленных денег

6/7

61,6

62,5

Регулярные получение новостей Анкетки

7/8

48,9

44,8

Внешний вид и дизайн анкет

8/9

42,4

40,6

Российское происхождение проекта

9/3

38,3

67,7

Благотворительность

10/10

33,5

32,8

Как видно из результатов исследования, свойства проекта, связанные с опытом участия в опросах, оказались наиболее важными. Так как любопытство является основной движущей силой, привлекающей людей в панель, для них больше всего важны интересные темы опросов. Как видно из опроса, важность этого фактора немного снижается: участники панели начинают понимать, что реальные опросы не всегда бывают интересными.

Вторая важная характеристика — это частота получения приглашений к участию в опросах. Когда панель новая, участники хотят получать больше опросов. Важность этого фактора несколько снижается вместе с повышением опросной нагрузки. Результаты опроса показывают, что участники панели также ценят отсутствие ошибок в анкетах и размер вознаграждения за их заполнение.

Основным сюрпризом для исследователей стал серьезный рост значимости российского происхождения проекта. Так, всего за три месяца, прошедших от первой до второй волны исследования удовлетворенности, данный фактор переместился с девятого на третье место по значимости и сохранил свою позицию до последней волны. Одной из причин такого изменения, возможно, является факт получения респондентами большего числа опросов от российских компаний. Участвуя в таких исследованиях, панелисты начинают понимать, что они действительно оказывают влияние на принятие маркетинговых решений известными национальными производителями. Другая возможная причина — культурная релевантность общения администрации с участниками панели. Например, спустя несколько месяцев после запуска проекта была введена система экспресс-опросов на панельном портале, с помощью которых участники могут высказать свое мнение по актуальным вопросам. Эта идея сразу стала популярной: в первой волне проекта 62,2% респондентов назвали ее «очень важной» или «скорее важной», к шестой волне данный показатель вырос до 67,1%.

Еще одной интересной тенденцией является небольшое повышение значимости размера вознаграждения за участие в опросах (с 62,4 до 65,2% в первой и шестой волнах, соответственно). При этом позиция данного фактора в рейтинге значимости снизилась с четвертой до шестой позиции. Данный факт еще раз показывает, что денежное вознаграждение является важным, но далеко не основным мотивом участия в панели.

Следуя логике исследования, мы постарались понять, какие характеристики панели являются значимыми для различных типов участников проекта. В таблице 3 показаны ключевые характеристики, которые назвали «очень важными» или «скорее важными» представители различных типов панелистов.

Таблица 3.Важность характеристик панели для различных типов панелистов

Любопытные

Ответственные

Прагматичные

1-е место

Интересная тема опроса

Интересная тема опроса

Размер вознаграждения

2-е место

Частота приглашений к опросам

Частота приглашений к опросам

Частота приглашений к опросам

3-е место

Российский проект

Российский проект и Возможность отвечать на экспресс-опросы

Несколько вариантов обналичивания

Как видно из таблицы, любопытные и ответственные панелисты указывают схожие значимые характеристики проекта. Для каждого из этих типов важным является российское происхождение панели, так как оно определяет качество коммуникации (текстов панельного портала, ответов службы поддержки, а также отсутствие грамматических и орфографических ошибок в анкетах, которые часто встречаются в панелях западных провайдеров). Прагматичных же респондентов волнует величина и ликвидность вознаграждения; значимость частоты участия, по всей видимости, имеет отношение только к скорости накопления суммы, которую можно перевести в наличные (данный порог составляет 1000 рублей в панели Anketka.ru). Отсутствие интереса к содержательным характеристикам проекта со стороны прагматичных респондентов еще раз доказывает, как важно держать их долю под контролем.

Негативный опыт панелистов

Следующий ключевой вопрос нашего исследования касается свойств панели, которые не нравятся ее участникам. Понимание негативного опыта респондентов позволяет провайдеру искать пути по его минимизации. В талице 4 приведены распределения ответов на вопрос: «Что вам не нравится в проекте «Анкетка»?»

Таблица 4.Что не нравится участникам панели?

Что Вам не нравится в проекте Анкетка?

Волна 1,%

Волна 6, %

[1] Предварительный отбор перед каждым опросом

33,9%

42,5%

[2] Слишком длинные анкеты

25,5%

12,7%

[3] Приглашения к участию в опросах приходят недостаточно часто

25,5%

29,6%

[4] Необходимость оставлять личную информацию

13,5%

15,5%

[5] Формулировки вопросов

5,1%

14,3%

[6] Темы опросов

3,1%

11,8%

[7] Дизайн сайта

3,1%

6,4%

[8] Работа сайта

2,8%

7,2%

[9] Другие причины

6,3%

3,4%

[10] Все нравится

14,0%

11,3%

[11] Не знаю/ Затрудняюсь ответить

20,1%

9,9%

Согласно результатам исследования, основной негативный опыт респондентов связан с процессом отбора участников опроса — скринингом или прохождением анкеты-фильтра. Не секрет, что целевые аудитории заказчиков все реже определяются только социально-демографическими характеристиками. Нередко опросить нужно пользователей тех или иных товаров и услуг или планирующих ими воспользоваться. В описаниях выборки все чаще встречается квотирование по маркам используемых продуктов, а также отбор респондентов на основе психографических характеристик. Это приводит к тому, что респондент перед переходом к основной анкете заполняет довольно объемную (до 20 вопросов) анкету-фильтр. Если выясняется, что человек не подходит под заданные характеристики, он получает соответствующее сообщение и не может продолжать опрос. В среднем на одну полностью заполненную анкету приходится 5–7 анкет, в которых респонденты не проходят скринер. Данное соотношение имеет тенденцию к увеличению; вместе с ним растет и доля участников панели, недовольных предварительным отбором (с 33,9 до 42,5% в первой и шестой волнах соответственно).

В данной статье мы не будем подробно останавливаться на способах минимизации негативного влияния процесса предварительного отбора на удовлетворенность панелистов. Укажем лишь основные из них: выплата небольшого вознаграждения отскринированным панелистам («плата за лояльность»); розыгрыши призов среди участников панели, которые часто не проходят отбор; различные варианты сокрытия факта скринирования (например, использование формулировки «вы прошли короткую версию анкеты» вместо «вы не подошли для участия» в сообщении о негативном результате скринирования) и т.п.

Кроме «пассивных» способов борьбы с негативным опытом скринирования, существуют и «активные», целью которых является сбор максимально подробной информации о каждом участнике панели, что позволяет таргетировать приглашения к опросам на целевую аудиторию, а значит, уменьшать долю участников, не прошедших предварительный отбор. Данной цели прежде всего служит профильная анкета, которую люди заполняют при регистрации в панели. Однако данные профили достаточно быстро устаревают и требуют регулярного обновления. Как показывает практика, даже простота процесса обновления профиля и периодические напоминания о необходимости это сделать не всегда позволяют добиться желаемого результата.

Также существуют и более передовые техники для ad hoc профилирования целевой аудитории. Помимо добавления новых характеристик и обновления персонального профиля панелистов по результатам каждого из проведенных исследований, все большую популярность приобретает инструмент под названием «экспресс-опрос» на панельном портале. Провайдер панели имеет техническую возможность отслеживать ID панелистов, принимающих участие в экспресс-опросах, а значит, ответы на эти мини-анкеты могут быть совмещены с индивидуальными характеристиками панелистов (профилем), оставленными при регистрации. Такой подход помогает решать следующие задачи:

— приглашать к участию в исследованиях панелистов, которые дали определенные ответы в экспресс-опросе;

— добавлять профильную информацию каждого респондента к ответам на экспресс-опросы, таким образом превращая один вопрос в исследование с более чем 100 вопросами;

— точно предсказывать уровень достижимости (пенетрации) труднодоступных целевых аудиторий.

Экспресс-опросы позволяют поддерживать коммуникацию с панелистами двумя способами: во-первых, они уменьшают негативный эффект предварительного отбора и создают активность на панельном портале; во-вторых, участники проекта постоянно чувствуют, что их мнение важно.

Важно также отметить, что с опытом участия в опросах происходит значимое снижение негативного восприятия слишком длинных анкет. Вместе с тем возрастает негативное влияние некорректно сформулированных вопросов и неинтересных тем исследования. У большинства участников панели формируется собственное мнение о проекте: так, доля затруднившихся с ответом на вопрос о негативном опыте снизилась более чем в два раза (с 20,1% в первой волне проекта до 9,9% — в шестой).

Существуют элементы негативного опыта, которые являются атрибутами современного исследовательского процесса и находятся вне зоны влияния панельных провайдеров. К таким элементам относятся необходимость оставлять личную информацию, слишком длинные анкеты, сложные формулировки или форматы вопросов (например, табличные вопросы). Вместе с тем исследователи по всему миру не оставляют попыток сделать опыт участия в маркетинговых исследованиях более позитивным. В качестве примеров можно привести переход к интерактивным анкетам; расширенное использование имиджей, аудио и видео в опросном инструментарии, включение онлайн форумов и блогов в набор инструментов, предназначенных для сбора информации о потребителях и так далее.

Как показывает практика, многие панелисты готовы мириться с наличием негативного опыта, если они доверяют проекту. Одним из ключевых инструментов формирования доверия является панельный портал.

Панельный портал: задачи и особенности восприятия панелистами

Для обычного человека панельный портал является своего рода окном в мир маркетинговых исследований. Люди, как правило, сталкиваются с исследованиями, когда видят или слышат об их результатах в СМИ, а также когда их самих приглашают к участию в опросах в квартирах, по телефону или на улице. С переходом индустрии маркетинговых исследований к поиску участников массовых опросов в онлайн панелях сайты таких панелей становятся важнейшим инструментом при достижении взаимопонимания с респондентами и формирования у них доверия и уважения к исследователям, их деятельности и ее результатам.

В западном исследовательском сообществе ведется дискуссия о том, придает ли большую ценность панели наличие общения между ее участниками. Наш опыт показывает, что возможность общаться на сайте панели может привести к непредсказуемым последствиям. Так, незначительная часть недобросовестных панелистов может начать обсуждать «искусство прохождения предварительного отбора», возможность оставлять недостоверную информацию и другие темы респондентов. Кроме того, есть множество онлайн сообществ, позволяющих людям взаимодействовать, обмениваться контентом и просто хорошо проводить время, поэтому панельные порталы никогда не сравнятся с такими службами, как «Одноклассники», «ВКонтакте», FaceBook, MySpace или YouTube. Это также подтверждается данными опросов: более 80% панелистов не считают обязательным наличие форума на панельном портале. По нашему мнению, люди адекватно воспринимают позиционирование и цели панельного проекта и не ожидают от него дополнительных сервисов. Также существуют опасения, что добавление на сайт таких разделов, как новости или онлайн игры, будет мешать восприятию основной идеи: участие в маркетинговых исследованиях как возможность узнать что-то новое и оказывать влияние на маркетинговую политику компаний-производителей.

Основные ошибки управления панелями

После определения важнейших свойств онлайн панелей и понимания того, как различные типы участников воспринимают их, мы предприняли попытку проанализировать десять крупнейших панельных порталов, работающих в России и принадлежащих как локальным, так и глобальным провайдерам онлайн выборок. Целью нашего анализа было выявление ключевых ошибок управления панелями, а также понимание того, какое влияние могут оказать эти ошибки на заинтересованность панелистов и качество данных. Исследование проводилось методом включенного наблюдения: мы зарегистрировались в каждой из панелей и больше года следили за действиями их создателей.

Результатом анализа стала классификация распространенных ошибок управления панелями, представленная в таблице 5. Рядом с каждой ошибкой мы сочли целесообразным представить собственный опыт решения схожих задач. Важно понимать, что в таблице представлена совокупность ошибок, и это не означает, что все панельные провайдеры совершают подобные ошибки. Более того, в последние годы наметилась тенденция к улучшению качества менеджмента панелей, однако панельные проекты ряда провайдеров по-прежнему являют собой примеры того, как неадекватное управление процессом может свести на нет все преимущества использования новой методики сбора данных. Также важно отметить, что методика панельных онлайн исследований, а также стандарты работы с панелями были разработаны на Западе, поэтому местные провайдеры находятся в лучшем положении и могут учиться на ошибках других.

Таблица 6. Основные ошибки управления панелями

Характеристики

Ошибочные действия

Успешные варианты решения схожих задач

Опыт пребывания на панельном портале

1. Плохой дизайн панельного портала. Так, на портале могут быть неподходящие в культурном отношении имиджи (например, люди различных рас могут передавать глобальный имидж, но россиянам это может казаться неадекватным). Также сообщения на главной странице могут транслировать лишь идею заработка на опросах, что отпугивает людей, мотивированных иначе.

2. Плохие или неадекватные переводы текстов на портале. Например, слово «панель» имеет другое значение в русском языке, поэтому если называть людей «участниками панели», а сам проект — «панелью», это будет неправильно понято и может создать негативные ассоциации.

3. Проблемы с кодировкой текста. Когда портал разрабатывается одновременно на нескольких языках, повышается риск того, что на некоторых из них будут проблемы с кодировкой.

4. Профильные анкеты, заполняемые при регистрации в панели, могут содержать неадекватные вопросы (например, вопрос о расовой принадлежности в России). В них также могут быть упомянуты товары или услуги, которых не существуют на местном рынке.

5. Отсутствие активности на панельном портале, иногда кажется, что портал устарел и давно не обновлялся. Участникам панели не предлагается дополнительная информация.

1. Дизайн портала содержит культуросообразные изображения и тексты, направленные на привлечение любопытных и ответственных участников. Например, эту роль могут играть фотографии панелистов и их мнения о проекте, логотипы компаний-заказчиков, ссылки на публикации в СМИ по результатам опросов и так далее.

2. Оригинальные тексты и/или переводы, созданные носителями языка. Идея проекта описывается людям простыми и понятными словами. Раздел FAQ (часто задаваемые вопросы) основан на формулировках самих участников панели, а не ее создателей.

3. Корректное отображение текста в большинстве операционных систем, браузеров и программ просмотра файлов.

4. Вопросы профильной анкеты корректно сформулированы. В списки брендов добавлены торговые марки местных производителей и поставщиков услуг (например, местные операторы мобильной связи).

5. Наличие дополнительных мероприятий на портале, таких как экспресс-опросы, регулярное добавление на портал ссылок на публикации в СМИ, результатов розыгрышей призов и прочее.

Характеристики

Ошибочные действия

Успешные варианты решения схожих

задач

Опыт участия в опросах

1. Плохой перевод анкет, обилие грамматических и орфографических ошибок, иногда неправильная кодировкой текста. Один из примеров — дословный перевод названий брендов (так, вместо Dell, Apple, Seagate получаем Лощина, Яблоко, Морские ворота).

2. Отсутствие локальных брендов в списках ответов на закрытые вопросы. Например, респондента спрашивают, какой поисковую службу он использует, но в списке нет местного бренда Яндекс, который занимает около 40% рынка.

3. Формулировки вопросов не учитывают региональных особенностей. Например, используется годовая шкала доходов вместо месячной. Также российским реалиям могут не соответствовать шкалы доходов или цен, списки религий, форматы магазинов и т.п.

4. Неадекватные способы вознаграждения панелистов.

a) Крайне сложно и дорого обналичивать банковские чеки в долларах США за пределами Москвы и Санкт-Петербурга, время обработки занимает до двух месяцев.

b) Выбранные онлайн магазины доставляют товары в Россию/определенные регионы за дополнительную плату или не доставляют вообще.

c) Выбранные бонусные программы лояльности (например, накопление призовых миль за полеты) используются незначительной долей населения России.

d) Легальное перечисление денег на электронные кошельки или мобильные телефоны крайне затруднено или невозможно.

1. Анкеты переведены и отредактированы профессионалами, работающими в российских исследовательских агентствах. Адекватность кодировки проверена в различных браузерах.

2. Списки брендов локализованы и включают местные компании. Существует возможность нахождения пользователей локальных брендов (например, интернет-провайдеров, сервисов бесплатной электронной почты и т.п.), так как эти вопросы добавлены в профиль.

3. Все вопросы формулируются с учетом специфики не только России, но и регионов. Используются стандартные типовые вопросы и шкалы, многократно проверенные на адекватность в российских условиях.

4. Удобные способы оплаты, предусматривающие проверку удостоверения личности при получении вознаграждения. В частности, практически единственным юридически корректным способом является отправка денег почтовыми переводами. Более 40 тысяч почтовых отделений находятся в шаговой доступности от каждого жилого дома по всей стране. Доля возвратов составляет всего 2–3%. Проверка паспорта при получении снижает риск множественных регистраций в панели.

Опыт коммуникации с администрацией и службой поддержки

1. Общение с участниками панели сводится только к приглашению участвовать в опросах. Может отсутствовать даже служба поддержки.

2. В информационных бюллетенях может встречаться культурно нерелевантная информация (например, упоминание телевизионных программ, которые не показывают в России). Качество перевода бюллетеней, как правило, очень плохое.

3. Служба поддержки пользователей нерегулярно отвечает на вопросы. Ответы приходят на плохом русском языке, либо специалисты вообще не могут понять суть вопроса участника.

1. Общение с панелистами включает регулярные информационные бюллетени и круглосуточную службу поддержки пользователей.

2. Содержательные и интересные информационные бюллетени, включающие последние новости проекта, результаты опросов, ответы на избранные вопросы па- нелистов, благодарности от компаний-заказчиков и т.п.

3. Служба поддержки пользователей оперативно дает ответы на поступающие вопросы, пытается разобраться в проблемах и оказать реальную помощь.

Как показало исследование, далеко не у всех панельных провайдеров существует понимание, что успех этого бизнеса напрямую зависит от заинтересованности и удовлетворенности людей, регулярно участвующих в опросах через Интернет. От этого также зависит и достоверность результатов проводимых исследований, а значит, и доверие к ним компаний-производителей. Личность респондента нередко остается незамеченной, что приводит к падению заинтересованности, низкому проценту отклика и недобросовестному поведению участников. Люди с «романтическим» отношением и нефинансовой мотивацией имеют тенденцию покидать панели, когда к участникам проявляется недостаточно уважения, — остаются только те, кто участвует в опросах ради денег.

Заключение

Качество данных уже несколько десятилетий остается ключевой темой для обсуждения в индустрии маркетинговых исследований. Дополнительные вопросы к качеству возникают с появлением новых методов сбора данных, например исследований с использованием онлайн access-панелей. К сожалению, борьба за качество нередко ведется по мере возникновения «сиптомов болезни». Иными словами, вместо здорового образа жизни, зарядки и закаливания мы просто пичкаем ребенка лекарствами при каждом недомогании. Чтобы начать работать с причинами, а не последствиями возможного ухудшения качества онлайн выборок, нужно прежде всего понять, что главным в исследовательском процессе является отношение к респонденту, поэтому всю тактику и стратегию развития нового метода нужно строить с опорой на мнения людей. В этом смысле создание онлайн панелей не отличается от других бизнесов: понимание потребностей и желаний потребителей помогает компаниям производить продукцию, которая будет пользоваться спросом. Одним из способов «держать руку на пульсе» является регулярный мониторинг мнений участников онлайн панели о самом проекте и его создателях.

Мы считаем, что качество данных онлайн исследований прежде всего зависит от того, кто и почему в них участвует, как строится коммуникация с респондентами, получают ли они адекватную моральную и материальную компенсацию за потраченное время, чувствуют ли уважение к себе. В этой связи существующие технические методы контроля качества являются важными, но не основными. Главной же задачей панельных провайдеров является повышение заинтересованности респондентов за счет создания интерактивных и удобных для заполнения анкет, использования медийных возможностей Интернета на всех этапах коммуникации, включения в исследовательский процесс привычных для людей способов самовыражения и взаимодействия в Интернете, таких как блоги, форумы, коллекции фотографий и видео.

Почти все существующие типы недобросовестного поведения участников панелей связаны с желанием некоторых людей получить вознаграждение, не выполняя работу должным образом. Тем не менее это случается не потому, что участники панели такие плохие, а потому, что мы как провайдеры панелей иногда оказываемся не в силах удержать добросовестных респондентов. Важную роль здесь играет формирование у людей понимания того, что участие в опросах является для них одним из немногих способов влиять на ситуацию и изменять мир вокруг себя. В результате активных действий в этом направлении появляется довольно большая группа лояльных панелистов, которые стремятся полно и честно выражать свое мнение по самым разным вопросам. Вместе с этим растет уверенность, что онлайн исследования вскоре станут основным инструментом сбора качественной и надежной информации.

Литература

1. Seymour Sudman, Brian Wansink. Consumer panels. — 2nd ed. — Chicago: American Marketing Association, 2002 (Сеймур Зюдман, Брайан Ванзинк. Панели потребителей. — 2-е изд. — Чикаго: Американская маркетинговая ассоциация, 2002).

2. Postoaca, Andrei. The Anonymous Elect: Market Research through Online Access Panels. — Berlin: Springer, 2006 (Постоака Андрей. Анонимный выбор: маркетинговые исследования с помощью панелей с онлайн доступом. — Берлин: Springer, 2006).

Дополнение маркетинговых исследований социальными сетями

Петит Анни (Ipsos Interactive Services, США), Чедвик Саймон (Peanut Labs, США)

Web 2.0 серьезно изменил наш способ восприятия и пользования Интернетом, что привело к появлению социальных сетей и программ, которые могут стать новым весьма серьезным источником выборки исследований. Как и в случае с любым новым инструментом исследований, следует ответить на вопрос, не приведет ли его использование в исследовании к какому-либо смещению, присущему данному источнику. В предлагаемой статье мы пытаемся ответить на данный вопрос, сравнивая результаты, полученные в ходе исследований с использованием выборки Peanut Labs (компании, предоставляющей выборку из социальных сетей) и выборки из других, более традиционных онлайн источников.

Существует множество параметров, помогающих определить, позволяет ли новый источник рекрутинга респондентов получить качественные результаты. Чтобы провести такой анализ, мы отобрали панелистов i-Say в возрасте от 18 до 34 лет, которые были рекрутированы в панель из различных онлайн источников с большим числом пользователей в то же самое время, что и респонденты Peanut Labs. Всего было выделено 25 различных источников рекрутинга, которые стали предметом последующего анализа.

В первую очередь следует понять, отвечают ли респонденты базовому критерию — активное участие в панели. Этот критерий требует, чтобы панелисты приняли участие хотя бы в одном исследовании в течение определенного периода времени. По сравнению с участни- ками из других 25 источников респонденты из панели Peanut Labs имели почти такой же уровень активности; по данному показателю Peanut Labs расположился ровно посередине среди других источников. Респонденты Peanut Labs имели не больше и не меньше шансов быть удаленными из панели по причине неучастия в исследованиях.

Принимая во внимание все более возрастающую важность качества данных, гораздо важнее, чтобы все источники были оценены по ряду качественных показателей. Первое, что делает Ipsos, когда оценивает новый источник выборки, — это проводит анализ ответов предварительного отборочного исследования с помощью программы оценки качества данных Ipsos Panel Integrity 4 (iPi4). Эта программа оценивает каждое отборочное исследование на предмет выявления недобросовестных ответов (ответов по прямой линии, противоречий, других подозрительных действий респондентов). По сравнению с другими источниками выборки мужчин и женщин в возрасте 18–34 лет, которые отвечают минимальным стандартам качества, Peanut Labs ничем не отличался от других и располагался ровно посередине ряда уже зарекомендовавших себя источников.

Разрешив панелисту присоединиться к панели, программа также отслеживает торопливое заполнение анкет на протяжении всех исследований, в которых респондент принимает участие. Например, панелист, который потратил на участие в трех исследованиях менее трех минут на каждое, будет обнаружен и тут же удален из панели. И снова панелисты Peanut Labs ничем не отличались от респондентов из других источников, которые отвечали минимальным стандартам качества и стали участниками панели.

Последним показателем качества, который мы рассматривали, была процедура ipiLive — процедура, которую Ipsos использует непосредственно в ходе опроса для измерения качества данных каждого конкретного исследования. Панелисты, которые не прошли оценку с помощью ipiLive 3 раза и более, удаляются из панели i-Say. Как и ранее, процент панелистов Peanut Labs, которые были удалены из панели в результате данной процедуры, не отличался от показателей других анализируемых источников выборки молодых людей. Панелисты Peanut Labs по данному показателю располагались ровно посередине.

Заключительный показатель анализа качества нового источника из числа основополагающих — это удовлетворенность респондентов.

В конце каждого исследования i-Say предлагает 4 вопроса для оценки удовлетворенности участием в исследовании. Вопросы касаются продолжительности исследования, степени интереса для участника, важности исследования и того, почерпнул ли участник что-то новое для себя. Прежде всего данные вопросы предназначены для оценки качества исследования, однако они также позволяют понять, насколько участники исследования из того или иного источника оказались довольным им. Иными словами, насколько высоки их ожидания от исследований i-Say. И опять панелисты Peanut Labs расположились посередине и заняли 14-ю позицию из 25 сравниваемых источников. Это означает, что несмотря на то, что респонденты Peanut Labs пришли из среды социальных сетей, для которых характерны максимальное использование возможностей Web 2.0 и высокая степень взаимодействия между участниками, они высоко оценили свой опыт участия в исследованиях.

Все полученные в ходе наших исследований показатели качества и рейтинги важны для получения всесторонней картины сравнения панелистов Peanut Labs с панелистами из других источников. Однако существует еще один очень важный показатель: существуют ли отличия в ответах панелистов Peanut Labs и панелистов других источников рекрутинга Даже если их показатели качества их ответов примерно одинаковы, совершенно различные по направленности ответы были бы серьезной проблемой. Должны быть определенные сходства в трендах, рейтингах и бизнес-выводах по результатам исследований, чтобы гарантировать, что новые источники выборки оценены надлежащим образом.

С другой стороны, важно понимать, что новые источники выборки могут давать совершенно иные, но тем не менее достоверные результаты. Мы должны стремиться обеспечить представленность всего населения с помощью процедур выборки, а не отдельных сегментов, которые могут отражать состояние Интернета в тот или иной момент времени. Как показывает ниже круговая диаграмма Венна, существует множество источников для набора новых панелистов. Различия в результатах дают возможность набора более широкого круга панелистов, а значит, позволяют принять участие в исследовании новым группам людей, которые могли быть не охвачены с помощью более традиционных источников рекрутирования панелистов.


Рисунок 1. Структура онлайн сообщества

Первое исследование касалось пользования электроникой — той сферы, где можно предположить наличие существенных различий между панелистами, использующими и не использующими новые возможности Интернета. Применялись стандартные процедуры формирования выборки, однако в выборке Peanut Labs по сравнению с выборками из других источников оказалась существенно более высокая доля мужчин в возрасте 18–24 лет. Сам по себе этот результат неудивительный, за исключением того, что это крайне сложная для рекрутинга группа, которую легко может предоставить Peanut Labs.

Были получены ответы более 450 респондентов из панели Peanut Labs и других более традиционных источников выборки. Чтобы гарантировать, что различия в ответах являются результатом истинных отличий во мнениях респондентов, а не обусловлены различиями демографических характеристик панелистов из различных источников, выборки были перевзвешены по переменным возраста, пола, дохода, образования, размера семьи и региона проживания.

На рисунке 2 показаны ответы на три вопроса о покупательских намерениях (один и два наивысших ответа по оценочной шкале — топ 1 и топ 2). Очевидно, что ответы панелистов Peanut Labs похожи на ответы панелистов, рекрутированных из традиционных источников. Высоким показателям для одного источника соответствуют высокие показатели для другого источника. Конечно, результаты не идентичны. Учитывая размеры выборок и интервал ошибки выборки в 2,3%, некоторые различия статистически значимы. Но, несмотря на эти отличия, ранговый порядок показателей примерно одинаков; единственное отличие между выборками — в рангах для второго и третьего показателей.


Рисунок 2. Ответы на вопросы о покупательских намерениях

Второе исследование касалось замороженных десертов и включало 300 интервью с панелистами Peanut Labs и более 2000 интервью панелистов из других источников. В этом случае не было оснований ожидать, что ответы панелистов из социальной сети будут отличаться от ответов панелистов из традиционных источников. Просто не было причин подозревать, что любители определенного типа мороженого соберутся в одной социальной сети.

Для начала данные были перевзвешены по различным демографическим показателям, чтобы гарантировать, что различия в ответах вызваны реальными различиями во мнениях, а не социально-демографическими различиями участников исследования. На рисунке 3 приведены ответы на вопросы данного исследования (наивысшие ответы согласия, топ-ответы). Здесь представлен широкий ряд вопросов, начиная с употребления продукта и цены и заканчивая доверием и предпочтениями.

Вполне предсказуемо, что ответы панелистов Peanut Labs похожи на ответы других панелистов. Ни по одному вопросу результаты не отличаются больше чем на 5%, в среднем разница составляет всего лишь 2%. Ранжировки показателей также достаточно схожи, что является косвенным показателем сходства результатов. Только по одному показателю расхождения в пунктах превысили три ранга, в то время как по остальным показателям различия были от 0 до 2 пунктов.


Рисунок 3. Ответы на вопросы исследования о замороженных десертах

Третье исследование было посвящено спортивным событиям, и здесь сравнивались 500 интервью панелистов Peanut Labs и 400 интервью с другими панелистами. И опять среди рекрутированных Peanut Labs респондентов оказалось больше труднодостижимых респондентов, в первую очередь молодых мужчин. Результаты данного исследования также подтверждают ранее сделанный вывод об отсутствии различий в ответах респондентов двух подвыборок. В данном случае вопросы касались интереса к различным видам спорта, согласия с высказываниями о характеристиках различных видов спорта. Те показатели, которые высоко оценивались респондентами из традиционных источников выборки панелистов, также получали высокую оценку и у панелистов Peanut Labs. Тем не менее по одному из показателей различия составили 10%, но по остальным различия не превышали 6%. За исключением этого одного случая, наибольшие отличия между ранжировками показателей у респондентов Peanut Labs и респондентов из других источников составляли 1 пункт. То есть если у панелистов Peanut Labs показатель имел ранг 4, то для респондентов из других источников он мог быть 3, 4 или 5.


Рисунок 4. Ответы на вопросы исследования о спорте

Данные результаты показывают, что ответы респондентов социальной сети Peanut Labs не отличаются существенным образом от данных, собранных на базе других источников. Небольшие различия вполне предсказуемы. В действительности исследователи хорошо знают, что различия в результатах будут даже при использовании одного и того же источника в разные периоды времени.

Онлайн анкетирование с использованием мобильных телефонов: результаты методического эксперимента

Давыдов Сергей Геннадьевич («ГфК-Русь»)

Введение

Методическое экспериментирование — неотъемлемая часть современной практики маркетинговых и социальных исследований. Социологи — как эмпирики, так и теоретики — находятся в ситуации постоянного повышения требований к эффективности осуществляемой ими деятельности. Снижение стоимости и сроков сбора информации, повышение точности и надежности результатов, поиск новых подходов к работе с узкими и (или) труднодоступными целевыми группами — вот лишь часть требований к исследовательским проектам, ставших привычными. Следует также принять во внимание, что интенсификация и дифференциация социальной жизни диктуют необходимость появления новых методических разработок. Наконец, благодаря развитию информационных технологий возникают возможности не только для более широкого использования в исследовательской работе специального оборудования, но и для принципиально новых форм взаимодействия с респондентами. Из числа многочисленных возможных примеров назовем использование сканеров для автоматизации потребительских панельных исследований, индивидуальные устройства фиксации медиапотребления (наиболее известные технологии — Media Watch компании GfK Telecontrol и Portable People Meter компании TNS), различные CAWI-исследования (онлайн опросы) и т.д.

Использование индивидуальных средств коммуникации: мобильных телефонов, смартфонов, КПК и т.п. — в рамках сбора социологической информации представляется одним из весьма перспективных направлений. Подобные устройства имеют высокий уровень распространения (ими пользуются 78,6% взрослых россиян8), удобны и относительно просты в эксплуатации. Многие обладатели мобильных телефонов расстаются с ними только на время сна. В то же время функциональные возможности данных устройств достаточно широки. Помимо голосовой связи с респондентами, имеются возможности записи голоса на диктофон, съемки на фотокамеру, написания текстовых заметок, обмена информации через Интернет и т.д. и т.п.

Особый интерес представляет возможность использования мобильных коммуникативных устройств в качестве терминалов для самостоятельного заполнения анкет респондентами. Действительно, в этом случае отпадает необходимость в привлечении к процессу сбора информации интервьюеров, что существенно снижает стоимость работ. Респонденты могут ответить на вопросы в любом месте, где бы они ни находились. Онлайн анкетирование посредством персонального компьютера с обычным монитором обеспечивает более широкие возможности в области программирования опросников и демонстрации стимульных материалов, однако через мобильные телефоны опросом можно охватить более широкие слои населения.

Безусловно, отмеченные преимущества и недостатки анкетирования с использованием мобильных телефонов носят спекулятивный характер. Помимо собственно технической возможности проведения исследования, необходимо наличие технологии взаимодействия с респондентами. Возможна ли сегодня разработка подобной технологии? Если анкетирование через мобильные телефоны возможно, то какие факторы позволят увеличить отклик респондентов при эффективных и экономных трудозатратах?

Чтобы ответить на эти, а также ряд других вопросов, компании «Интерэктив сервисез» и «ГфК-Русь» провели в апреле 2009 года совместный методический эксперимент, результаты которого легли в основу предлагаемой статьи.

Описание методики и схема организации эксперимента

Методический эксперимент, разработанный представителями двух компаний, был направлен на решение следующих задач:

  • определение уровня готовности различных групп населения к участию в подобных исследованиях;
  • выявление технологических барьеров, связанных с организацией подобных исследований, и возможностей их преодоления;
  • изучение психологических барьеров, снижающих отклик респондентов, и возможностей их преодоления;
  • оценка достоверности данных, получаемых при использовании данной методики сбора информации;
  • анализ экономической целесообразности анкетных опросов с использованием мобильных телефонов.

Исследование состояло из двух этапов. На первом этапе по случайной выборке телефонных номеров была произведена рассылка SMS-сообщений с приглашением принять участие в анкетном опросе. В SMS-приглашении респонденту было обещано небольшое вознаграждение за заполнение анкеты, приводился бесплатный контактный телефон для справок («горячая линия»), а также сообщалось о необходимости наличия настройки WAP. Для получения анкеты было необходимо направить SMS определенного содержания на указанный короткий телефонный номер.

Выборка телефонных номеров была сформирована случайным образом из базы данных телефонных номеров абонентов, принимавших участие в акциях «Интерэктив сервисез». Поскольку в SMS-акциях чаще оказываются вовлечены представители младших возрастных групп, перед исследованием изначально не ставилась задача репрезентации населения или какой-либо его части. В список в равном соотношении были включены телефонные номера трех ведущих операторов мобильной связи (МТС, «Билайн» и «Мегафон») в двух регионах — Москве и Московской области, Оренбурге и Оренбургской области. В общий список рассылки вошло 1200 номеров, заданные квоты отражены в таблице 1.

Таблица 1. Квоты телефонных номеров для рассылки SMS-приглашений принять участие в исследовании

Москва

Оренбург

Всего

Номера МТС

200

200

400

Номера «Билайн»

200

200

400

Номера «Мегафон»

200

200

400

Всего

600

600

1200

Если респондент отправлял SMS-запрос, в ответ на него приходила ссылка, по которой можно было скачать небольшую WAP-анкету, состоящую из 13 вопросов; с учетом переходов каждый респондент должен был ответить на 12 из них. Содержание анкеты — базовая социально-демографическая информация и пользование мобильной связью. Были предложены различные типы вопросов: открытые и закрытые, с возможностью выбора одного и нескольких вариантов ответа. Респондентам, заполнившим анкету и успешно отправившим информацию, до конца дня на счет телефона поступало оговоренное вознаграждение.

На втором этапе эксперимента, начавшемся через несколько дней после завершения первого этапа, был произведен обзвон по базе отобранных для рассылки телефонных номеров. В зависимости от реакции респондента на SMS-приглашение с ним проводилось интервью по одному из трех сценариев.

1. Если респондент никак не отреагировал на приглашение принять участие в исследовании, выяснялась причина отказа. Если респондент хотел, но не мог заполнить анкету по причинам технического характера, ему оказывалось содействие (консультации по настройке WAP и др.).

2. Если респондент запросил анкету, однако не отправил ответы на вопросы, также выяснялись причины его поведения, а при необходимости оказывалась техническая поддержка.

3. Если респондент отправил заполненную анкету, производилась частичная проверка собранной информации, а также выявлялось общее впечатление респондента от участия в исследовании. Обязанности по подготовке и проведению экспериментального исследования были распределены между организаторами следующим образом. Компания «ГфК-Русь» разработала методику исследования, осуществила поддержку «горячей линии» и обзвон респондентов силами собственной CATI-студии и провела анализ полученных данных. Компания «Интерэктив сервисез» подготовила базу телефонных номеров и осуществила техническую поддержку исследования (рассылка SMS-приглашений, программирование анкеты, сбор информации и др.).

Полевые работы в рамках эксперимента были начаты 2 апреля 2009 года. SMS-приглашения рассылались в течение двух дней: 2 апреля — по Москве и области, 3 апреля — по Оренбургу и области. Рассылка производилась в течение рабочего дня, по 50 SMS в течение получаса. Соответствующий график использовался с целью предотвращения возможной перегрузки «горячей линии». Телефонный обзвон респондентов был осуществлен 6–8 апреля. Датой завершения полевых работ следует считать 11 апреля — в этот день была получена последняя заполненная WAP-анкета. Таким образом, полевые работы продолжались в общей сложности 10 дней.

Перейдем к рассмотрению основных результатов первого и второго этапов эксперимента.

Результаты первого этапа эксперимента: WAP-анкетирование

Прежде всего активность респондентов при заполнении WAP-анкеты следует признать крайне низкой. Свои ответы на вопросы прислали всего 38 человек — по 19 в каждой точке опроса. Таким образом, уровень отклика респондентов составил всего 3,2%.

При этом необходимо подчеркнуть, что приводимый показатель рассчитан с учетом респондентов, заполнивших анкету уже после телефонного контакта с интервьюером. Если же говорить об анкетах, заполненных непосредственно после рассылки SMS, то таковых оказалось всего 7, а «чистый» уровень отклика, таким образом, был равен 0,6%.

Подробный анализ причин столь плохого возврата анкет приводится в разделе, посвященном второму этапу исследования. Здесь же отметим, что 5,2% анкет были «потеряны» из-за наличия в базе неиспользуемых номеров. Действительно, из 1200 разосланных SMS-приглашений было получено подтверждение о доставке 1137 (94,8%). При этом SMS-запрос на получение анкеты отправили 120 человек (10,0%) — 50 (8,3%) в Москве и области, 70 (11,7%) в Оренбурге и области.

Если рассматривать только респондентов, отреагировавших непосредственно на SMS (то есть до начала телефонного обзвона), среднее время от получения приглашения до запроса ссылки на анкету составило 11 часов 38 минут, а от получения ссылки на анкету до отправки результатов — 6 минут.

Таблица 2. Отклик респондентов на WAP-анкету

ВСЕГО

В Москве и области

В Оренбурге и области

Разослано приглашений (абс.)

1200

600

600

Доставлено приглашений (абс.)

1137

569

568

Доставлено приглашений (% от разосланных приглашений)

94,8

94,8

94,7

Скачано анкет (абс.)

120

50

70

Скачано анкет (% от разосланных приглашений)

10,0

8,3

11,7

Заполнено анкет (абс.)

38

19

19

Заполнено анкет (% от разосланных приглашений)

3,2

3,2

3,2

Заполнено анкет (% от скачанных)

31,7

38,0

27,1

Заполнено анкет до телефонного звонка (абс.)

7

3

4

Заполнено анкет до телефонного звонка (% от разосланных приглашений)

0,6

0,5

0,7

В связи с небольшим количеством проведенных WAP-интервью анализ частотного распределения полученных ответов не имеет смысла (дважды в статье подобная информация приводится для справки). Поэтому остановимся на таких аспектах анкетирования с использованием мобильных телефонов, как качество собираемой информации, состав участников исследования и содержание звонков по «горячей линии».

Поскольку база рассылки SMS-сообщений была собрана из внутренних источников, представляется вполне вероятным, что состав получателей SMS исходно не соответствовал социально-демографическому составу населения изучаемых регионов. Чтобы проверить данное предположение, сопоставим сведения о половой принадлежности и дате рождения респондентов, полученные в рамках SMS-опроса и телефонных интервью (см. таблицы 3 и 4).

Таблица 3.Распределение респондентов по полу среди заполнивших WAP-анкеты и ответивших на вопросы в рамках телефонного интервью

Год рождения респондента

База телефонных интервью (CATI)

База заполненныых WAP-анкет

Абс.

%

Абс.

%

Мужской

325

42,5

18

52,9

Женский

440

57,5

16

47,1

ВСЕГО

765

100

34

100

Таблица 4. Распределение респондентов по году рождения среди заполнивших WAP-анкеты и ответивших на вопросы в рамках телефонного интервью

Год рождения респондента

База телефонныых интервью (CATI)

База заполненныых WAP-анкет

Абс.

%

Абс.

%

До 1960

16

2,1

0

0,0

1960–1969

63

8,2

1

2,9

1970–1979

159

20,8

4

11,8

1980–1989

437

57,1

23

67,6

1990–1999

89

11,6

6

17,6

2000+

1

0,1

0

0,0

ВСЕГО

765

100

34

100

Как мы уже отмечали, 34 респондента — недостаточная выборка для того, чтобы сделать статистически значимое заключение о наличии различий между двумя базами. И тем не менее мы считаем целесообразным обратить внимание на два факта. Во-первых, база рассылки несколько смещена в сторону женской аудитории, тогда как мужчины отвечали на вопросы WAP-анкеты несколько чаще. Во-вторых, респонденты 1980 года рождения и позднее более активно отреагировали на предложение заполнить WAP-анкету, чем представители более старших возрастных групп. Таким образом, полученные результаты укладываются в существующие представления о том, что в исследованиях с использованием технических средств коммуникации более активно участвуют именно эти социально-демографические группы. В то же время вопрос, бесспорно, нуждается в более детальном изучении.

Оценка качества полученной информации проводилась с использованием двух типов верификации данных. Во-первых, по таким параметрам, как пол и дата рождения респондента, осуществлялось сравнение данных WAP-анкеты и телефонного интервью. Во-вторых, по таким параметрам, как оператор мобильной связи, услугами которого пользуется абонент, и марка мобильного телефона, с которого заполняется анкета, производилось сопоставление данных WAP-анкеты и автоматически собираемых сведений.

Проведенный анализ позволяет признать, что по уровню достоверности собранной информации WAP-анкетирование не уступает другим методам сбора информации. По каждому из четырех вопросов было получено не более двух несовпадений.

Наконец, скажем несколько слов о результатах работы «горячей линии». За первый день полевых работ — 2 апреля — поступило 40 звонков от 29 абонентов. Из них продолжительность 26 соединений составляла менее 60 секунд, а 14 соединений — от 60 секунд и более; средняя продолжительность разговора — 76 секунд. 22 абонента, звонившие на «горячую линию», воспользовались мобильными телефонными номерами, по которым производилась рассылка. Еще 7 — мобильные или квартирные номера, по которым рассылка не производилась. К сожалению, протоколы от 3 апреля по техническим причинам оказались недоступны.

Основные вопросы, интересовавшие респондентов, были связаны с компанией «ГфК-Русь», от лица которой проводился опрос («Чем занимается «ГфК»?», «Кто вы такие?»), с тематикой и методикой опроса («Почему мне это прислали?», «Чему посвящен опрос?»), с предполагаемым вознаграждением («Что мне за это будет?», «Каково вознаграждение?», «Зачем я буду отвечать?»). Некоторые респонденты желали убедиться, что такая компания действительно существует и проводит исследование. Только один из звонивших попросил оказать ему техническую помощь, связанную с настройкой WAP.

Результаты второго этапа эксперимента: телефонный опрос (CATI)

Для проведения CATI-интервью база телефонных номеров была разделена на четыре группы. В первую группу вошли 1017 владельцев мобильных телефонов, получивших SMS, однако никак на него не отреагировавших. Вторую группу составили 82 респондента, скачавших, но не заполнивших анкету. Еще 38 человек, заполнивших анкету, сформировали третью группу. Наконец, еще по 63 неактивным телефонным номерам обзвон не производился.

В первой группе по телефону удалось опросить 690 респондентов, то есть достижимость в данной подгруппе составила 67,8%. Всем ее представителям был задан вопрос, получили ли они SMS-приглашение принять участие в опросе. На данный вопрос было получено 411 (59,6%) утвердительных ответов и 279 (40,4%) отрицательных. Обратим внимание, что весьма значительная часть участников эксперимента по тем или иным причинам не ознакомилась с содержанием SMS-приглашения. Очевидно, что некоторые обладатели мобильных телефонов пользуются ими только для совершения звонков, однако в данном случае рассылка производилась среди людей, заведомо имеющих опыт использования SMS-сообщений. Эти люди оказались не осведомлены об исследовании после получения приглашения, поскольку атрибутировали последнее как спам, пропустив, а возможно, и удалив его без внимательного прочтения.

Респондентам, которые сообщили о получении SMS-сообщения, был задан следующий вопрос: «Почему вы не отреагировали на при- глашение принять участие в опросе?» Аргументы, приведенные участниками исследования, представлены в таблице 5.

Таблица 5. Распределение ответов на вопрос: «Почему Вы не отреагировали на приглашение принять участие в опросе?»

Содержание ответа

Количество

ответов (абс.)

Количество ответов (% от всех не отреагировавших на SMS)

Количество ответов (% от всех, подтвердивших получение SMS)

Не было времени, забыл

102

14,8

24,8

Воспринял SMS как спам; не доверяю

85

12,3

20,7

Не хочу, неинтересно

57

8,3

13,9

Различные технические проблемы (в том числе связанные с WAP)

26

3,8

6,3

Необходимость оплаты SMS/WAP, нет денег на телефоне

25

3,6

6,1

Непонятно, что за сообщение, какой смысл акции

19

2,8

4,6

Сомневаюсь, что получал SMS

9

1,3

2,2

Удалил SMS

8

1,2

1,9

Использую телефон только для звонков, не пользуюсь SMS

5

0,7

1,2

Затрудняюсь ответить

40

5,8

9,7

Другое

35

5,1

8,5

Подобное распределение ответов свидетельствует о том, что отказ большинства респондентов от заполнения анкеты обусловлен слабой заинтересованностью в данном действии; наличием опасений, связанных с возможностью мошенничества; «неформатностью» подобного контакта для проведения социальных и маркетинговых исследований.

В целом позитивное отношение к участию в исследовании с использованием мобильных телефонов проявили большинство опрошенных: из 411 человек в принципе согласились ответить на вопросы анкеты 330 (80,3%), не согласились — 76 (18,5%). (В отношении еще 5 участников (1,2%) было установлено, что принять участие в опросе они не имеют технической возможности.)

Из 330 респондентов, согласившихся заполнить анкету на мобильном телефоне, 281 (85,2%) выразил в разговоре согласие отправить SMS с запросом анкеты, а 49 (14,8%) отправлять SMS отказались. При этом необходимо указать на тот факт, что отправку SMS с запросом анкеты осуществили на практике 120 человек, в том числе после телефонного разговора с представителем «ГфК-Русь» — 96 человек (то есть 34,2% пообещавших это сделать). Данный результат, на наш взгляд, может быть связан с двумя факторами: 1) уже отмеченной низкой мотивацией респондентов; 2) трудностью поставленной задачи для части респондентов (отправка SMS с указанным текстом на указанный короткий номер).

В подгруппе участников эксперимента, скачавших, но не заполнивших анкету, были опрошены 49 человек из 82, то есть отклик составил 59,8%.

Наиболее распространенной причиной отказа от отправки анкеты после ее заполнения стали проблемы с настройкой/подключением WAP. Об этом сообщили 12 человек (24,5%). Еще 11 респондентов (22,4%) сообщили о различных технических проблемах, которые у них возникли («пришло сообщение об ошибке», «не работает ссылка», «анкета не скачалась», «анкета не открывается» и т.д.). Кроме того, были получены следующие варианты ответов:

— респондент не понял, как заполнить или отправить анкету, — 7 (14,3%);

— респондент отказался от отправки анкеты в связи с необходимостью оплачивать SMS, WAP, а также в связи с отсутствием денег на мобильном телефоне — 6 (12,2%);

— ссылка на нехватку времени — 5 (10,2%);

— прочие причины — 8 (16,3%).

Отметим также, что из 49 респондентов, не отправивших заполненную анкету, большинство (69,4%) согласились повторить попытку отправить информацию после разговора с представителем исследовательской компании. Отказались возобновить попытку 8 человек (16,3%). В отношении еще 7 человек (14,3%) было установлено, что принять участие в опросе они не смогут по причинам технического характера.

Таким образом, основными причинами, помешавшими респонденту отправить анкету при наличии такого желания, стали прежде всего технические проблемы, в большинстве случаев связанные с технологией WAP (отсутствие в мобильном телефоне, неправильная настройка и т.д.). Следует принять во внимание и слабую техническую подготовленность (грамотность) некоторых участников эксперимента, вследствие которой многие не смогли довести процесс до конца.

Из 38 респондентов, ответивших на вопросы анкеты, удалось проинтервьюировать 26 (68,4%). Ответы на вопрос «Каково ваше общее впечатление от участия в исследовании?» распределились следующим образом. В большинстве случаев (18) респонденты в той или иной степени указали на позитивное отношение к опросу. Еще 5 человек выразили безразличное, нейтральное, «никакое» отношение. Один респондент указал, что обычно не участвует в исследованиях, но в данном случае изменил своей привычке, потому что получил звонок от сотрудников компании. Затруднились высказать свое отношение 2 участника опроса.

Респонденты, у которых исследование оставило положительные впечатления, пользовались следующими эпитетами: «нормальное» (8), «интересное» (3), «отличное» (2), «положительное» (2). Еще 3 респондента указали на то, что им было приятно получить вознаграждение за участие в исследовании.

Как указали 25 из 26 респондентов, трудностей при работе с анкетой у них не возникло (еще 1 опрошенный затруднился сформулировать свой ответ).

Подавляющее большинство — 24 из 26 респондентов — выразили желание продолжить участие в подобных опросах, подтвердив свое согласие в телефонном разговоре. Из двух человек, отказавшихся участвовать в последующих исследованиях, один указал, что «не хочет, не считает нужным участвовать» (без конкретизации причины), другой назвать причину отказался.

В заключение респондентам было предложено высказать свои пожелания организаторам опроса. 14 участников не дали свою формулировку (8 затруднились это сделать, а 6 сообщили, что пожеланий у них нет). Остальные респонденты высказали желание чаще участвовать в подобных исследованиях (7), пожелали успехов и удачи исследователям (3). Один из респондентов рекомендовал учитывать, что услуги WAP платные. Еще один респондент, ранее отказавшийся от участия в исследовании, попросил больше не присылать ему анкет.

Итак, заполнение анкеты не вызвало трудностей у респондентов, прошедших до конца всю исследовательскую процедуру, и оставило позитивные впечатления. В большинстве случаев респонденты данной группы выразили готовность продолжить участие в подобных проектах.

Заключение

1. Проведенный эксперимент, с одной стороны, доказывает существование принципиальной возможности взаимодействия с участниками социальных исследований в России посредством рассылки WAP-анкет на мобильные телефоны. С другой стороны, также очевидно, что крайне низкий уровень отклика респондентов на WAP-анкеты связан с целым рядом факторов, причем лишь некоторые из них могут быть частично устранены. Рассматриваемый метод сбора информации, таким образом, не может быть использован для проведения опросов на базе репрезентативных населенческих выборок даже в условиях относительно широкого распространения мобильной телефонии и WAP-технологий. Данное обстоятельство существенно снижает исследовательский потенциал анкетных технологий для мобильной телефонии. При этом, впрочем, не исключается возможность проведения репрезентативных «голосовых» телефонных опросов населения посредством случайного отбора из списков номеров мобильных телефонов.

2. Рассылка SMS-сообщений на случайные телефонные номера на данный момент представляется неэффективным инструментом рекрута респондентов для участия в единичном опросе. Во-первых, данная форма коммуникации не является для респондентов ожидаемой в рамках социологического исследования, кроме того, она связана с возможностью получения нежелательной информации (спама) и потенциального мошенничества. Во-вторых, одно или два стандартных SMS-сообщения не способны вместить стандартный набор информации для рекрута респондента и его инструктажа. Увеличение же объема пересылаемого текста приводит к существенному повышению расходов на его отправку.

Возможное решение (нуждающееся в дальнейшем изучении) может быть связано с использованием мобильного телефона как одного из терминалов для заполнения анкет участников «панелей доступа» (access panel) наряду с персональными компьютерам. В этом случае рекрут респондента (по телефону или каким-либо иным образом), а также его тренинг представляется заведомо более расходной статьей бюджета, однако вложения оправдываются за счет многократного и периодического участия респондентов в различных опросах. Примером реализации подобного подхода является система IRM австрийской компании Domestic Data. Естественно, с мобильных телефонов могут быть заполнены лишь некоторые из программируемых анкет, однако наличие данной опции повышает оперативность сбора информации и делает систему более удобной для опрашиваемых.

Еще один альтернативный вариант использования WAP-технологий в целях опросов может быть связан с заполнением WAP-анкет в качестве альтернативы уличным опросам (например, опросы в торговых точках, опросы на выходе из кинотеатров и т.д.). В этом случае полевую группу должны формировать специалисты, призывающие скачать WAP-анкету и готовые оказать помощь на месте.

3. Основные технические барьеры, препятствующие участию в онлайн исследованиях с использованием мобильных устройств, связаны прежде всего со значительным количеством мобильных телефонных аппаратов, не поддерживающих WAP. Немаловажен и тот факт, что для значительной части россиян характерен низкий уровень технической грамотности. Настройка WAP на мобильном телефоне, поддерживающем эту технологию, скачивание, заполнение и отправка WAP-анкеты и даже отправка SMS заданного содержания могут оказаться для некоторых респондентов непосильными задачами. Организация WAP-опросов, таким образом, должна быть сопряжена с организацией всесторонней технической поддержки респондентов.

4. Психологические барьеры участия в WAP-опросах связаны с тем, что SMS-технологии ассоциируются у множества респондентов с формами обмана и мошенничества, а также распространением нежелательной информации (спама). Следует также отметить, что, хотя предложенное в рамках эксперимента вознаграждение (30 рублей для Москвы и 25 рублей для Оренбурга) и соответствовало объему запрашиваемой информации, оно показалось многим недостаточным стимулом ввиду необходимости оплаты SMS/WAP, а также из-за усилий, направленных на то, чтобы «разобраться с технологией».

5. Проведенный анализ собранных результатов свидетельствует о достаточно высоком качестве полученной информации. Об этом же говорит и высокая степень корреляции результатов WAP-исследования с результатами телефонного «голосового» опроса (CATI), и высокая доля ответов на каждый заданный вопрос по отдельности, и низкое количество «мусора» при ответе на открытые вопросы.

6. Результаты исследования позволяют сделать общий вывод о различном уровне готовности групп населения к участию в WAP-опросах. Данная проблема, однако, нуждается в более подробном изучении, чтобы появилась возможность говорить о характере готовности более детально.

Резюмируя результаты эксперимента, следует отметить, что в краткосрочной и среднесрочной перспективе WAP-опросы не имеют потенциала к использованию в качестве средства сбора социологической и маркетинговой информации. С одной стороны, это связано с большим количеством накладываемых ограничений, подробно рассматриваемых выше, а с другой стороны, с наличием других, зачастую более эффективных способов коммуникации с респондентами, среди которых в первую очередь назовем «классический» онлайн опрос и «голосовое» телефонное интервью. Перспективы развития WAP-опросов в ближайшие годы могут быть связаны с поиском специальных исследовательских ниш, в рамках которых использование «мобильных анкет» было бы оправдано как методически, так и экономически.

Возможности применения Flash шкал в онлайн исследованиях11

Кейп Пит (Survey Sampling International, США)

Памятуя о том восторге, который первоначально вызвали исследования в формате HTML, сегодня онлайн исследования зачастую воспринимаются как бестолковые, монотонные и лишенные элементов интерактивности. Некоторые утверждают, что маркетинговые исследования не являются (и не должны являться) формой развлечения, а представляют собой пример научного исследования. Другие смотрят, возможно, более прагматично, что может предложить Интернет и как новые технологии могут быть использованы для решения задач маркетинговых исследований. Последний подход заключает в себе большие возможности. Техники маркетингового исследования эволюционировали на протяжении десятилетий, чтобы вобрать в себя все лучшее в рамках используемой методологии. Интернет позволяет исследователю еще раз пересмотреть свои подходы к базовым методологическим вопросам.

Появление Flash как инструмента и практически повсеместное его присутствие на персональных компьютерах дало возможность и дальше придумывать новые дизайны вопросов и ответов, которые, помимо всего прочего, выглядят привлекательными и предполагают некоторую степень интерактивности при ответах на вопросы.

Многие компании, предоставляющие услуги по программированию онлайн анкет и хранению данных, а также исследовательские компании предлагают пакет Flash инструментов взамен неуклюжим и затратным по времени традиционным методам создания анкеты. Среди этих инструментов — слайдер12, который был разработан одним из первых и предназначался для замещения традиционных шкал. Однако, как ни парадоксально, этот инструмент до сих пор остается наименее популярным.

Возможно, такая непопулярность связана с отсутствием понимания, как именно слайдер воспринимается и используется респондентами, а также реальной боязнью потерять сравнимость с предыдущими данными, которые могли быть получены с помощью шкалы совершенно иного дизайна. Как индустрия, мы немного консервативны, и в отношении шкал есть ощущение, что «лучше не трогать то, что пока работает».

Данная статья стремится ответить на ряд вопросов относительно «стандартной» 5-балльной шкалы Лайкерта и помочь понять, как может работать альтернатива на базе Flash, во-первых, с точки зрения сбора данных, вызванной этим альтернативным вариантом, и, во-вторых, с точки зрения заинтересованности и удовлетворенности инструментом со стороны объекта, то есть респондента.

Графические представления или графические образы

Когда рассматривается использование чего-то иного, помимо текстовых вопросов и ответов, важно провести границу между визуальными образами и графическими представлениями.

Использование образов для иллюстрации понятий чревато трудностями для исследователя. Респонденты обнаруживают, что невозможно отделить образ от понятия. Это, конечно, ведет к путанице. Исследователь не знает, думает ли респондент об общем (то есть о понятии) или конкретном (об образе). Типичным вопросом, который неосмотрительный исследователь захочет немедленно сопроводить образами, может быть следующий: «Какой вид отдыха Вы предпочитаете?» Например, респондент, которому представили образы летнего отдыха, может реагировать на образы и, таким образом, на подвиды представленного летнего отдыха.

Оба образа, представленные ниже, могут иллюстрировать летний отдых:


Рисунок. 1


Рисунок. 2

Автор моментально находит один из них значительно привлекательнее другого и с большой вероятностью выберет любую альтернативу, нежели переполненный пляж. В результате вопрос «Какой вид отдыха Вы предпочитаете?» трансформируется в следующий: «Какую картинку отдыха Вы предпочитаете?», в котором текстовые варианты ответов практически ничего не значат.

Нейтральный выбор иллюстраций практически невозможен, когда речь идет об абстрактных понятиях (к числу которых, конечно, относится и «летний отдых»).

Вторая ошибка в использовании графических изображений, которая была допущена нашей компанией в онлайн исследовании, это использование интерактивных карт. В результате вопрос превратился в вопрос на знание географии. Знать, что Тулуза является столицей департамента Верхняя Гаронна, это не то же самое, что суметь указать точно Верхнюю Гаронну на карте департаментов Франции.

Образы всегда должны использоваться с осторожностью, и исследователи должны с критических позиций оценивать, что они могут означать для разных людей и в разных культурах.

Графическое представление отличается от образов и часто более наглядно для респондентов. Например, ранговые вопросы гораздо лучше работают в графической форме, нежели текстовой. Довольно простой задачей для людей является ранжирование ответов в порядке значимости, это значительно проще, чем, например, выбрать номер 1 из списка в 12 пунктов по телефону. Другие примеры графических представлений: виртуальная полка, чтение журнала с виртуальным переворачиванием страниц, задания, где нужно перемещать объекты (например, drag-and-drop упражнения), — все являются прогрессом с точки зрения эффективности, интерактивности и, вполне вероятно, точности данных.

Шкалы

Шкалы располагаются где-то между образами и представлениями. Шкалы не являются реальными в том плане, что их нельзя потрогать, обонять или ощутить, но это образный конструкт, который стал реальным благодаря постоянному использованию в определенном культурном контексте. У людей нет потребности использовать формализованные шкалы в обыденной жизни. Каждый из нас может оценить продукты по ряду критериев и прийти к какому-то решению о покупке, основываясь на оценке продукта и сравнительной важности каждого критерия для нас; все это происходит без каких-то формальных баллов и оценочных процедур. Проблема для исследователей состоит в том, что такое поведение очень сложно поддается описанию и категоризации, поэтому нам необходимо формализовать этот процесс, как бы это ни казалось абсурдным.

Разработка шкалы, особенно в случае онлайн исследования, переносит нас в пространство образов. В момент зарождения онлайн исследований иллюстративные образы весьма спорно применялись в отношении шкалы Лайкерта. На рисунке ниже показаны некоторые примеры иллюстрированных слайдеров.


Рисунок. 4

Обратите внимание, что в первом слайдере используются картинки с большим пальцем вверх/вниз. В контексте данного слайдера подразумевается согласие, несмотря на то что во многих культурах большой палец вверх/вниз в реальности означает «одобрение». Конечно, одобрение это не то же самое, что согласие. Представьте, что оценивается какое-то негативное суждение — неприятный, но правдивый политический факт, например. Будут ли респонденты каким-то образом вынуждены (пусть даже бессознательно) одобрять этот факт с помощью символа «большой палец вверх»? То же самое справедливо и в отношении «шкалы со смайликами». Неужели согласие с чем-то действительно всегда приносит нам радость? Шкалу со смайликами также можно критиковать за «неприемлемость» и даже «инфантилизм», в зависимости от предмета исследования. Красный и зеленый означают «стой» и «иди», и опять же не всегда мы хотим сказать «стоп», если не согласны с чем-то.

Нет сомнений, что Ринзус Лайкерт пребывал бы в ужасе, если бы тогда, в 1932 году, ему предложили заменить его простую шкалу согласия/несогласия смайликами! Но хотел бы он, чтобы его шкала была представлена как континуум, что давало бы возможность собирать и анализировать мнения с той степенью тщательности, с какой это возможно в наше время? Истинный потенциал слайдера может заключаться в той степени детализации, с которой он способен собирать данные, нежели в том восторге, который приносит перемещение бегунка по шкале и наблюдением за тем, как меняется в связи с этим изображение.

Шкала Лайкерта

Существует бесконечное число способов использования шкалы Лайкерта исследователями и множество вопросов вокруг нее. Наше исследование сосредоточено на двух ключевых вопросах относительно традиционной шкалы Лайкерта:

1. Эквивалентность рейтингов. Если утверждение А оценено как «скорее согласен» и утверждение В оценено точно так же, означает ли это, что респондент согласен с ними в равной мере? Если ко- ротко, то является ли шкала Лайкерта подходящим инструментом для определения тонких различий между суждениями?

2. Пространство между пунктами шкалы. Есть ли какое-то значение между пунктами «скорее согласен» и «полностью согласен»? Есть ли какое-то значение за пунктом «скорее согласен»? Принуждаем ли мы человека выражать мнение, которое не является его истинным мнением, потому что мы предлагаем ему слишком мало альтернатив?

Как только мы поймем, есть ли необходимость в замене традиционной шкалы Лайкерта, мы сможем оценить ряд вариантов представления шкалы Лайкерта с помощью слайдера.

На первом этапе эксперимента случайной подвыборке респондентов была представлена традиционная 5-балльная шкала Лайкерта для оценки четырех суждений. После выполнения задания у респондентов спрашивали, в какой степени инструмент позволил им точно выразить свое мнение (принимая во внимание предмет данной статьи, автора не покидала ирония использования фиксированной шкалы для сбора информации).

После этого респондентам снова были представлены суждения для оценки; сначала были показаны те, с которыми они были полностью согласны, затем те, с которыми они были скорее согласны, и так далее. Респондентам была предложена возможность пересмотреть свои ответы, используя 5 пунктов выше и/или ниже первоначально указанного ответа (если это возможно), приближаясь, но не достигая крайних пунктов шкалы Лайкерта.

В эксперименте использовался набор суждений о личных ценностях:

Утверждение 1. Высокие стандарты морали и этики являются самыми важными в жизни.

Утверждение 2. Достижение благополучия или приобретение материальных благ — это то, что сделает меня самым счастливым.

Утверждение 3. Я всегда буду ставить семью выше друзей.

Утверждение 4. Нужно соблюдать закон при любых обстоятельствах.

Как видно из таблицы 1, ответы по традиционной шкале были в целом положительными.

Tаблица 1. % респондентов, давших ответы «полностью или скорее согласен» по традиционной 5-членной шкале Лайкерта

Британия

США

Германия

Китай

Полностью согласен

36%

41%

18%

21%

Полностью или скорее согласен

68%

71%

57%

46%

Основываясь на результатах опроса, можно предположить, что большинство людей не воспользуются возможностью пересмотреть свои ответы. На самом деле значительное число респондентов выбрали возможность изменить оценки, как это видно из таблицы 2.

Таблица 2. % респондентов, поменявших свое первоначальное мнение

Британия

США

Германия

Китай

Утверждение 1

60%

52%

47%

46%

Утверждение 2

45%

51%

50%

52%

Утверждение 3

42%

36%

37%

51%

Утверждение 4

54%

54%

51%

42%

Интересно посмотреть, какие ответы с большей или меньшей вероятностью были подвержены изменениям. Взяв суждение 1 и посмотрев на распределение данных, мы можем увидеть, что наибольшему изменению подверглись те пункты шкалы, которые содержали определение «скорее» (безотносительно согласия или несогласия). 70% скорее несогласных и 75% скорее согласных изменили свое мнение в сторону более выраженного согласия/несогласия или нейтральной позиции. Это явно демонстрирует слабость шкалы Лайкерта в улавливании ответов, которые не являются ни сильными, ни нейтральными. Истинное значение частичного согласия или несогласия находится в континууме между сильно выраженным мнением и его отсутствием как такового.

Исследование нейтральной позиции «ни согласен, ни не согласен» также поразительно. В отношении суждения 1 42% респондентов изменили свою позицию в сторону согласия или несогласия. Это совершенно точно подразумевает, что существует определенная степень согласия/несогласия перед значением «скорее», которая определяется как более нейтральная, чем позиция «скорее».

Сильные мнения не были столь подвержены модификации, но мы увидели различную реакцию, которая зависела от того, на каком конце шкалы находился первоначальный ответ. Половина тех, кто изначально сказали, что полностью не согласны с суждением 1, изменили свое мнение в сторону «скорее не согласен». Напротив, только 23% тех, кто изначально сообщили, что полностью согласны с суждением, потом поменяли свое суждение и выбрали значение ближе к «скорее согласен». Если это означает, что легче сохранить сильную положительную приверженность, чем отрицательную, то можно утверждать, что эти два вербальных значения шкалы не являются противоположностью друг другу.

Данные результаты четко показывают, что у респондентов существует более сложное представление о согласии/несогласии, нежели инструмент позволяет нам измерить в данный момент. Анализ ответов на индивидуальном уровне не позволит нам определить, пересматривает ли респондент всю шкалу, чтобы отразить его персональное мнение о крайних и промежуточных пунктах шкалы, или респондент стремится показать трудноуловимую разницу во мнениях, которая существует относительно предложенного набора суждений. Если респонденты делают последнее, то возможность пересмотра оценок может в результате позволить сформировать индивидуальный рейтинг суждений по степени согласия с ними. Данные такого уровня почти невозможно получить с помощью традиционных шкал, когда различные суждения так часто получают один и тот же балл.

Если мы внимательно посмотрим на тех, кто дал одни и те же оценки для всех четырех суждений, то мы увидим изменение оценок в сочетании с желанием отделить суждения друг о друга. Из 44 случаев нулевой вариации ответов больше половины (55%) респондентов не изменили своих оценок вообще. 5 человек изменили свои оценки, но при этом рейтинг суждений не поменялся. Интересно, что было двое респондентов-«перебежчиков» — один, который изначально со всеми четырьмя суждениями был согласен полностью (значение 1), изменил значение на 1,83 для всех суждений; другой, который изначально поставил оценку «скорее согласен» для всех суждений (значение 2), поменял все свои оценки на 1,33. Значительное число оставшихся респондентов (34%) выбрали возможность обозначить различия между всеми суждениями или их частью.

Было также 22 случая, когда все четыре суждения получили разные оценки. Только два человека оставили свои оценки неизменными, остальные поменяли на другие, которые лучше отражали их мнение.

Эти факты говорят о том, что традиционная шкала Лайкерта является достаточно грубым инструментом и что не существует равенства между суждениями, которые получили одинаковую оценку.

Мы также увидели, что шкала Лайкерта воспринимается как достаточно точный инструмент для сбора мнений. В то же время респонденты, которым была дана возможность использовать шкалу-слайдер (безотносительно к ее дизайну), демонстрировали более высокий уровень удовлетворенности шкалой как инструментом, способным отразить их истинное мнение.

Таблица 3. % респондентов, давших ответы «полностью или скорее согласен» по слайдер-шкале Лайкерта

Британия

США

Германия

Китай

Полностью согласен — слайдер

43%

54%

32%

21%

Полностью/скорее согласен — слайдер

72%

82%

68%

47%

Шкала Лайкерта — слайдер

Следующая часть нашего эксперимента касалась выяснения того, какое влияние на данные оказывает дизайн шкалы-слайдера. Мы использовали четыре разных дизайна: все имели текстовое описание крайних пунктов шкалы, и все воздерживались от визуальных иллюстративных элементов.

Первый слайдер содержал названия всех пяти традиционных пунктов шкалы:


Рисунок 5


Рисунок 6

На втором все отметки пунктов присутствовали, но текстовое описание промежуточных пунктов было удалено:

На третьем мы удалили отметки пунктов:


Рисунок 7

На последнем слайдере показывалось число от 1 до 5, чтобы указать, на каком именно значении установлен «бегунок»:


Рисунок 8

Во всех случаях первоначальное положение «бегунка» было установлено на значении «полностью не согласен». Была применена система проверки ошибок на случай, если респондент не менял положение «бегунка», чтобы убедиться, что респондент действительно совершенно не согласен с суждением.

Стартовое положение «бегунка» могло вызвать эффект смещения в ответах, равно как и порядок расположения вариантов ответов на традиционной шкале Лайкерта. Однако изучение подобного эффекта не было частью нашего эксперимента.

Наше первое наблюдение заключалось в том, что респонденты используют отметки пунктов, когда они есть. Интересно, что они также используют числовые эквиваленты пунктов, когда они имеются. Возможно, это происходит потому, что респонденты ранее видели нумерованную шкалу Лайкерта.

Таблица 4. Количество респондентов, выбравших определенные пункты шкалы — утверждение 1 (получены для одной и той же базы респондентов)

Совершенно не согласен

Скорее не согласен

Затрудняюсь

Скорее согласен

Полностью согласен

Традиционная шкала

12

40

105

231

201

Традиционная шкала с измененными оценками

6

12

61

57

154

Слайдер с названиями пунктов

4

25

77

125

129

Слайдер с отметками пунктов

1

17

92

88

114

Пустой слайдер

1

8

27

21

97

Слайдер со значением

4

10

51

47

124

Каждый дизайн слайдера давал различное распределение данных. Это привело нас к предположению, что дизайн важен и должен использоваться с большой осторожностью. Мы определенно предостерегаем против небрежного использования визуальных/иллюстрированных слайдеров и рекомендуем придерживаться одного стиля в рамках одного исследования и в различных волнах сбора данных.

Где же истина в отношении утверждения 1? Этого мы, конечно, не можем сказать. Исследователи рынка используют различные описательные статистики, чтобы определить значение данных и интерпретировать их в разумном контексте.

После того как результаты для утверждения 1 объединены вокруг значений согласие/несогласие, лишь немногие исследователи не согласятся, что данные, вне зависимости от того, с помощью какой шкалы они были собраны (таблица 5), в общем-то говорят об одном и том же.

Таблица 5. % согласных и несогласных — утверждение 1

Не согласен

Согласен

Традиционная шкала

9%

73%

Традиционная шкала с измененными оценками

6%

73%

Слайдер с названиями пунктов

8%

70%

Слайдер с отметками пунктов

6%

65%

Пустой слайдер

6%

77%

Слайдер со значением

6%

73%

В терминах среднего значения (а рассматривать среднее значение, основываясь на данных шкалы слайдера, приемлемо) ответы снова очень похожи.

Таблица 6. Средние значения по всем шкалам — утверждение 2

Британия

США

Германия

Китай

Традиционная шкала

2,27

2,32

2,50

3,79

Традиционная шкала с измененными оценками

2,60

2,28

2,50

3,87

Слайдер с названиями пунктов

2,56

2,64

2,74

3,89

Слайдер с отметками пунктов

2,33

2,35

2,46

3,61

Пустой слайдер

2,32

2,39

2,29

3,62

Слайдер со значением

2,34

2,44

2,33

3,56

Мы четко можем видеть сходство между Великобританией, США и Германией (которые с чем-то не согласны) и их отличие по сравнению с Китаем (который склонен с чем-то соглашаться). Это справедливо вне зависимости от использованного инструмента сбора данных. Когда же мы увидим, что это суждение «Достижение благополучия или приобретение материальных благ — это то, что сделает меня самым счастливым», то ответы также имеют смысл в данном контексте.

Что действительно меняется, так это суммарные доли согласных/несогласных (топ-позиции), которые имеют тенденцию к уменьшению. Уменьшения в отношении разных суждений могут быть различными, но мы можем предположить, что различные методы дают сходный рейтинг суждений. Уменьшение суммарной доли согласных/не соглас- ных должно быть одноразовым явлением при переходе на новый дизайн шкалы, но это может быть неприемлемо для клиента. Вся концепция определения топ-позиций теряет смысл, как только появляется континуум. Вместе с континуумом данных появляется возможность использовать такие статистики, как квартили и децили, хотя они сложны для объяснения и какого-то практического использования.

Наконец, как было замечено в ходе эксперимента по пересмотру оценок, данные шкал-слайдеров (на индивидуальном уровне) значительно лучше подходят для дифференцирования мнений относительно ряда суждений. Во многих случаях это дает явное преимущество по сравнению с традиционной методикой.

Привлекательность

Как исследователи мы вынуждены сегодня делать наши исследования более «привлекательными» и «интерактивными». Является или нет маркетинговое исследование частью бизнеса развлечений, должно ли покупаться внимание рядового респондента — эти вопросы лежат за пределами нашего исследования. Однако мы осознаем, что некоторые вещи, которыми мы занимаемся, скучны, определенно монотонны и, правду говоря, бестолковы и нередко затянуты. Флэш альтернативы часто позиционируются как более привлекательные и интерактивные.

Flash слайдеры не уменьшают длительность интервью. В среднем использование слайдера для набора из четырех суждений занимает на 20 секунд больше. Возможно, дополнительное время вызвано непривычностью инструмента и со временем может сократиться. Может быть, было бы неплохо добавить флэш технологии в табличные вопросы. Из многочисленных исследований восприятия респондентов мы знаем, что эти типы вопросов наименее популярны и уровень внимания к таким вопросам не всегда высок настолько, насколько этого хотелось бы исследователям.

В конце исследования мы задали несколько вопросов о том, что думают респонденты о самом исследовании. В таблице 7 сравниваются мнения респондентов, которым не был показан слайдер (отмечены в таблице как «традиционные»), с ответами тех, кому эта шкала была показана.

Таблица 7. Оценка качества исследования со стороны респондентов

Исследование интересное

Британия

США

Германия

Китай

Согласен — традиционная шкала

93%

90%

90%

63%

Согласен — шкала-слайдер

97%

97%

94%

71%

Я получил удовольствие от участия в исследовании

Британия

США

Германия

Китай

Согласен — традиционная шкала

92%

89%

83%

73%

Согласен — шкала-слайдер

97%

96%

89%

81%

Приму участие в следующем исследовании

Британия

США

Германия

Китай

Согласен — традиционная шкала

99%

98%

98%

98%

Согласен — шкала-слайдер

99%

99%

99%

97%

Результаты говорят об увеличении интереса к исследованию и удовлетворенности участия в нем (что может быть взаимосвязано) при использовании слайдеров по сравнению с использованием традиционных шкал Лайкерта. Слайдеры незначительно усиливают общую привлекательность исследования, когда речь идет о желании принять участие в следующем опросе.

Заключение

Традиционная шкала Лайкерта во многих случаях является достаточно грубым инструментом. Можно доказать, что истинное мнение респондента лежит в пространстве между обозначенными вариантами ответов. Также возможны случаи, когда истинное мнение лежит за традиционными границами шкалы.

Однако это не говорит о том, что шкала является неправильной. Респонденты полагают, что она достаточно хорошо отражает их мнение. Можно только гадать, в какой мере это мнение обусловлено привычностью шкалы.

Однако это абсолютно точно означает, что равенства между суждениями, которые были оценены одинаково, нет. Также переоценивается сила мнений в отношении суждений. Исследователи, которые захотят оценить на качественном уровне степень согласия и силу мнения, например, «полностью согласен», совершат ошибку.

Слайдер-шкалы не дают уровней или значений согласия/несогласия, которые бы существенно отличались от тех, которые дают традиционные шкалы. Это означает, что слайдеры могут заменить традиционные шкалы без существенных расхождений в данных. Любой исследователь, который анализирует крайние позиции, должен знать, что они уменьшатся при изменении типа шкалы.

В чем слайдер-шкала точно превосходит традиционную, так это в способности улавливать малейшие различия в суждениях. Если дизайн исследования направлен именно на это, тогда слайдеры будут именно тем инструментом, с которым не будет необходимости использовать дополнительные вопросы для ранжирования суждений, получивших одинаковый балл.

Следует отметить, что наши находки также будут полезны для тех, кто ищет нерадивых респондентов, которые отмечают один и тот же ответ в таблице (так называемые straightliners). Там, где возможно или обоснованно для отдельного респондента соглашаться (или не соглашаться) со всеми суждениями, любые явные ответы по прямой линии могут быть скорее ошибкой инструмента, нежели респондента: просто инструмент не позволяет респонденту выразить различия в его мнениях к суждениям в таблице.

Дизайн самого слайдера должен быть продуман тщательно во избежание смещений, вызванных визуальными образами.

Шкала-слайдер не улучшает существенным образом уровень привлекательности исследования и (по крайней мере, в первое время) увеличивает его длительность.

Наконец, в нашей погоне за привлекательностью мы не должны забывать, что шкалы-слайдеры не сделают затянутые, скучные и монотонные таблицы интересными.

Воздействие интерактивных элементов инструментария на качество данных и удовлетворенность респондентов онлайн опросов

Некрасов Сергей Игоревич (Online Market Intelligence)

Современные информационные и сетевые компьютерные технологии, переводя на новый уровень возможности работы с информацией, производят существенные изменения во всех отраслях знания, в том числе и в маркетинговых исследованиях. Так, компьютерно-опосредованные технологии открывают новые возможности для проведения эмпирических исследований, меняя нынешние представления о доступности респондентов, количестве затрачиваемых на исследование ресурсов, возможности модификации инструментария и т.д. Если еще пару десятилетий назад компьютеры использовались преимущественно для анализа уже собранных данных, то сейчас этот этап далеко не единственный, где проникновение компьютерных технологий является привычным. В этой связи можно обратиться к различным автоматизированным и полуавтоматизированным инструментам сбора данных, например: 1) телефонный опрос с помощью компьютера (CATI); 2) личное интервью с использованием компьютера (CAPI); 3) самозаполняемая при помощи компьютера анкета (CSAQ) и др.

Исследование, проведенное автором данной работы на базе компании OMI, посвящено современным мировым тенденциям в области онлайн опросов, переводящих использование компьютерно-опосредованных технологий на новый уровень. Связано это с общей тенденцией увеличения «собственно онлайновой» фазы в маркетинговых (социологических и т.д.) исследованиях: все больше этапов современного маркетингового исследования проводится с использованием компьютера и веб-сети. Эта закономерность на сегодня однозначно прослеживается на Западе. В современной России мы уже можем наблюдать аналогичную тенденцию: доля онлайн опросов стремительно увеличивается, хотя, разумеется, их проведение еще вряд ли возможно назвать нормой.

В чем причина столь быстрого распространения онлайн опросов? По большому счету, вопрос этот является риторическим: их основные преимущества хорошо известны уже достаточно давно. Одной из наиболее разработанных общепринятых классификаций сильных сторон онлайн опросов является схема, предложенная Дж. Уоттом [1], где упоминаются такие критерии, как скорость, стоимость, простота создания, скорость модификации и др. (см. рисунок 1). С точки зрения этого автора, наилучшие показатели по всем приведенным критериям не просто у онлайн опросов, среди которых можно выделять несколько видов, но у «Специальных систем для проведения онлайн опросов». Эти системы охватывают и автоматизируют практически все этапы исследования, проводимые с их помощью.

Рисунок 1. Основные преимущества онлайн опросов по Уотту*

Рассылка анкет по Е-mail

Доработанные CATI системы

Доработанные диск-по-почте системы

Веб CGI программы**

Системы для онлайн опросов

Простота создания и внесения изменений

5

3

4

2

5

Простота доступа к предварительным результатам

2

3

4

5***

5

Контроль квот в выборке

2

5

3

5***

5

Проверка валидности данных

2

4

4

5***

5

Требование внимания респондента

5

4

4

4

4

Персонализация опросников

3

3

2

5***

5

Изменения существующего опросника

3

5

4

4

4

Уровень специальной подготовки, необходимый создателю опросника

5

3

4

2

4

Стоимость создания и проведения

5

3

3

2

4 — 5

* Оценка производится по 4-балльной шкале, где 5 — отлично, 2 — плохо. ** Создаваемые под каждую анкету «с нуля». *** Требует дополнительного программирования.

На первый взгляд не менее однозначно дела обстоят и с недостатками онлайн опросов: главный из них заключается в сложностях обеспечения репрезентативности выборки. Именно решению этого вопроса и посвящена значительная часть теоретических и эмпирических работ в данной области.

Тем не менее наряду с повсеместным ростом компьютеризации и быстрым темпом распространения онлайн опросов изменяются и те элементы их методического обеспечения, которые получают внимание исследователей. Обеспечение только лишь репрезентативности было и является, безусловно, оправданным в электоральных опросах, где переход в онлайн использовался главным образом с целью повышения скорости, при практически полном переносе макета опроса на экран в «бумажном виде» [2]. Однако с выходом маркетинговых исследований в онлайн, сопряженным с необходимостью программирования длинных и сложных для респондента анкет, все больше внимания уделяется еще и вопросу воздействия ситуации переноса опроса в среду Интернет на качество данных онлайн опросов. По сути, речь идет о том, насколько различаются данные оффлайновых и онлайн опросов при разном способе реализации последних. Ведь контакт с интервьюером или «бумажной» анкетой полностью заменяется взаимодействием в рамках интернет-среды. Поэтому стоит говорить о «дизайне» онлайн опроса в широком смысле слова как о факторе, воздействующем на качество получаемых данных.

В результате анализа существующих подходов к организации онлайн опросов автором данной работы было предложено в свете рассматриваемой проблематики выделять два основных подхода (см. рисунок 2). В первом из них — информационном — компьютерные технологии предстают исключительно как информационный канал, способ доступа к респонденту. Такой взгляд однозначно доминирует в электоральных опросах и приводит к «бумажному» взгляду на требования к инструментарию. То есть к попытке максимально приблизить вид электронной анкеты к традиционной «бумажной». В рамках второго подхода — виртуального — наоборот, основной акцент делается на адаптации инструментария к интернет-среде и обеспечении за счет этого повышения качества собираемой информации. Инструментарий такого типа мы называем «интерактивным», т.к. он не мог бы быть реализован на бумаге, а может существовать только в качестве динамических интерактивных элементов веб-среды.


Рисунок 2. Подходы к организации онлайн опросов

Обратившись к современным западным работам, посвященным маркетинговым и социологическим онлайн исследованиям, можно отметить значительный рост интереса к проектированию инструментария онлайн опроса (см., например, работы таких авторов, как Манфеда [3], Купер [4; 5], Диллман [6], Буккер [7], Слип [8] и др.). Однако, как и в любой относительно новой теме, в этой области не хватает систематизации и полноты охвата различных ее аспектов. Русскоязычных работ, рассматривающих вопрос дизайна онлайн опроса как элемента веб-среды, практически нет. Соответственно о полноценном осмыслении специфики использования того или иного инструментария для онлайн-опросов в России обоснованно говорить пока невозможно.

Поэтому в данной работе мы предлагаем рассмотреть результаты собственного исследования, посвященного изучению воздействия интерактивного инструментария на качество данных онлайн исследований, а также те практические выводы, которые были получены на его основе. При этом главной целью проведенного исследования была проверка гипотезы о позитивном воздействии интерактивного инструментария на качество данных онлайн опроса.

Элементы онлайн опросника: учет специфики онлайн среды

Для того чтобы выяснить, влияет ли интерактивный инструментарий на качество данных онлайн опроса, необходимо: 1) выделить те элементы макета опросника, в которых возможен учет специфики онлайн среды, 2) определить некоторые критерии качества данных опроса.

Для выделения элементов макета опросника мы обратились к классификации дизайна веб-опросников в исследовании К. Манфреды, З. Батагела и В. Веховара [3]. Они предложили рассматривать такие элементы, как графическая схема (graphic layout), форма презентации вопросов (presentation of questions) и количество вопросов на странице (the number of questions per page). Основываясь на тех рекомендациях, что предлагают авторы этой концепции, а также с учетом собственного опыта планирования схемы онлайн опроса мы несколько дополнили предложенную схему, получив в итоге следующую классификацию элементов опросника, в которых может отражаться принцип интерактивного инструментария:

1. Логика построения и схема его представления на экране:

a. Месторасположение вопросов на экране, принципы их выравнивания;

b. Количество одновременно выводимых на экран вопросов;

c. Возможность и легкость перехода между вопросами для респондента;

d. Наличие, вид и объем справки для респондента, которой можно воспользоваться в ходе опроса.

2. Форма используемых вопросов:

a. Основные типы используемых вопросов: закрытые/открытые; радио- и чек-кнопки, ролевые схемы и т.д.;

b. Способ организации вопроса. (Например, табличный вопрос можно представить в стандартном виде, как таблицу, а можно по drag-and-drop схеме.)

3. Цветовое оформление и графические элементы анкеты и отдельных вопросов:

a. Логотипы и пиктограммы, сопровождающие вопросы;

b. Использование анимации: как для схемы формата вопроса (например, полевой или drag-and-drop), так и для справки, сопроводительных логотипов и т.д.;

c Использование мультимедиа: аудио- и видеоэлементов.

Качество данных онлайн опроса

Исходя из основной гипотезы нашего исследования, предполагалось, что варьирование составляющих макета онлайн опроса может сказаться на изменении качества получаемых данных. При этом при определении понятия качества мы исходим из общепринятого применительно к онлайн опросам списка параметров данных (см., например, [3; 5; 9] и др.), которые при этом прямо восходят к стандартной классификации источников систематических ошибок. Единственный элемент, который был нами исключен, — это ошибка выборки. Такое решение связано с целью исследования, при которой выборка и ее организация не являются анализируемым фактором. В результате под качеством данных онлайн опроса нами будут пониматься:

1. Ошибка неответов (non-response error):

1.1. Незавершенный опрос (partial non-response)13.

1.2. Пропущенные вопросы (item non-response); т.к. в большинстве современных опросников, пропустив вопрос, нельзя перейти к следующему, в данную категорию иногда относят количество выбранных вариантов «затрудняюсь ответить», а также неприемлемых ответов (например, случайные буквенные сочетания вместо ответа на открытый вопрос).

2. Ошибка измерения (measurement error) как отклонение полученных ответов от их реального значения:

Общие требования валидности и надежности.

«Правдоподобие» ответов:

– Выявление заведомо ложных данных (например, введенных не в том формате).

– Отсев спидстеров (респондентов, время прохождения опроса которыми слишком мало для сознательного заполнения анкеты).

3. Удовлетворенность пользователей и ее связь с ошибками неответов и измерения

Прямые оценки: на основе вопросов о том, насколько им понравился этот опрос (часто добавляют в конце опроса).

Косвенные оценки:

– Время, потраченное на опрос в целом и на отдельные вопросы.

– Количество символов в ответах на открытые вопросы.

– Ответы на необязательные для заполнения вопросы.

Из всех приведенных параметров качества данных отдельного пояснения заслуживает включение удовлетворенности респондентов в этот список. Отметим, что понятие «удовлетворенности» в данном случае отнюдь не является абстрактной характеристикой. Наоборот, оно прямо связано с остальными двумя критериями, а иногда и является существенной причиной их низкого уровня. Так, слишком длинный или монотонный опрос может привести к простому «пролистыванию» вопросов и заполнению их случайным образом. Причем, как мы полагаем, достаточно одного подобного негативного опыта, чтобы в дальнейшем респондент был склонен вести себя схожим образом. Хотя, разумеется, сама удовлетворенность респондента формируется не только на рассматриваемом в данной работе этапе опроса, однако ее уровень согласно нашим предположениям может быть полностью сформирован самим процессом опроса в веб-среде.

Описание схемы эксперимента

Эксперимент, который был нами проведен, включал опрос 432 жителей городов-миллионников в возрасте от 16 до 44 лет.

При планировании схемы эксперимента мы исходили из трех основных мотивов.

Во-первых, необходимо максимально использовать результаты уже проведенных тестов в данной области [см. 3; 6; 8 и др.].

Во-вторых, нужно реализовать такую схему эксперимента, по результатам которой можно было бы делать обоснованные выводы о разном (или одинаковом) уровне качества данных с использованием или без использования интерактивного инструментария. В итоге в качестве такой схемы нами была выбрана модель дисперсионного анализа (в рамках общей линейной модели, general linear model).

Наконец, в-третьих, необходимо позаботиться о том, чтобы экспериментальные данные были получены на основе работы с полноценными, жизнеспособными системами онлайн опросов, а не просто с некими индивидуально запрограммированными анкетами.

Последний пункт, пожалуй, требует отдельного пояснения. По большому счету, казалось бы, ничто не мешало нам провести эксперимент на основе индивидуально запрограммированных в единственном экземпляре анкет двух разных типов (с интерактивным инструментарием и без него), а затем сравнить результаты. Однако, возвращаясь к классификации основных преимуществ онлайн опросов по Уотту (см. рисунок 1), мы бы хотели еще раз подчеркнуть различие между «системами для проведения онлайн опросов» и индивидуально запрограммированными анкетами. Последние позволили бы проводить экспериментальное сравнение на «идеальных типах» онлайн опросников, в которые можно заложить любые параметры. Однако при таком решении мы бы упустили, что перед нашим исследованием были поставлены и практические задачи. Работа с прямым программированием анкет не позволила бы обоснованно оценить трудоемкость и степень пригодности для «систем онлайновых опросов» отдельных элементов нашего инструментария. В то же время, именно говоря о системе опросов, мы можем сохранить очень значимые преимущества онлайн опросов, которые отмечаются в любой работе, их затрагивающей: это скорость, стоимость, возможность модификаций и т.д. Никакие преимущества в качестве или удовлетворенности респондентов не могли бы рассматриваться как «значимые» для улучшения схемы онлайн опросов, если бы они привели к отказу от общепринятых преимуществ.

В итоге в качестве первого исследуемого фактора нами был выбран способ технической реализации онлайн опросника: 1) стандартный, написанный на html опросник, который соответствовал бы «бумажному» инструментарию; 2) Flash опросник, позволяющий легко интегрировать любые графические и мультимедийные элементы и соответствующий интерактивному инструментарию. При этом первая модель — html — была реализована на одной из самых используемых в мире систем для маркетинговых опросов (Net-MR от компании GMI). Вторая — на собственной платформе для Flash опросов, которая была подготовлена автором данной статьи. Отметим, что система, разработанная нами, прошла к моменту тестирования более десятка коммерческих запусков для проведения маркетинговых исследований и по всем уровням — трудоемкости, скорости, гибкости и т.п. — оказалась сравнима с известными нам международными аналогами.

В дополнение к техническому способу реализации опросника мы добавили еще один фактор — использование или неиспользование логотипов и изображений в анкете. Связано это с гипотезой о том, что в обычных оффлайновых опросах изображения и логотипы принято использовать либо в виде отдельных карточек, либо в анкете, когда сами изображения являются частью инструментария или тестируемым объектом. Мы предполагаем, что в веб-среде различные сопровождающие текстовое содержание изображения являются «нормой» и поэтому имеет смысл проверить воздействие их присутствия на данные опроса14. Наша гипотеза, как и в случае с интерактивным инструментарием, заключалась в ожидании положительного воздействия на качество данных от использования графических элементов в анкете.

Таким образом, в эмпирическом исследовании сравнение различных опросников проводилось нами на основе данных четырех опросов, выполненных по одной и той же по содержанию анкете. При этом общая выборка была случайно разбита на четыре части с соблюдением равного представительства респондентов по полу и возрасту внутри групп. Респонденты из каждой группы (подвыборки) участвовали в опросе, выполненном по одной из следующих схем:

1. html без логотипов;

2. html с логотипами;

3. Flash без логотипов;

4. Flash с логотипами.

Что касается соотнесения выбранной схемы эксперимента с теми исследованиями, что нам удалось обнаружить в литературе, то отметим следующее: единственными авторами, из тех, которых нам удалось найти, публикующими результаты методических исследований графических элементов в онлайн опросах, полученных с полноценной статистической оценкой, были М. Купер, М. Трауготт и М. Лэмиас (см, например, [5]). Однако стоит отметить, что в фокусе их анализа была фактически проверка работы уже известных для традиционных опросов закономерностей и способов составления анкеты в онлайн среде. Так, изучение табличных вопросов и выгодности их использования в онлайне осуществлялось на основе сравнения таблиц с одной стороны и серии простых вопросов — с другой. Т.е. авторы в первом случае задавали табличный вопрос, а во втором — разбивали его на столько простых, сколько строк в таблице (при условии одного ответа в строке). Вывод, который в таком случае был сделан, по большому счету, сводится к заключению о выгодности использования таблиц и в онлайне тоже.

При выборе собственного экспериментального плана мы пошли несколько дальше: скажем, на примере тех же табличных вопросов, цель нашего тестирования заключается в сравнении различных форм их представления, в том числе с привлечением интерактивных элементов и метода drag-and-drop.

С графическими элементами ситуация во многом схожа: по-настоящему интересные с практической точки зрения работы (и по актуальности решаемых задач) встречаются редко и только в иллюстративных маркетинговых статьях (см., например, [8]). В них же, как известно, слабая сторона — это не сомнение в получаемых выводах, а скудность описания и обоснования схемы эксперимента. Кроме того, даже в подобных статьях нам не удалось обнаружить серьезного сравнения флэш анкет с обычными.

Что касается проверки различий в качестве данных и уровне удовлетворенности респондентов, то здесь мы, опираясь на технические возможности Flash платформы, использовали следующие критерии для сравнения с html опросами (зависимые переменные в экспериментальном плане):

1. Время заполнения анкеты в целом;

2. Время заполнения отдельных (контрольных) вопросов;

a. Табличных;

b. Открытых;

3. Успешность преодоления «ловушек» на внимательность прочтения вариантов ответа к вопросу (см. описание используемого для сравнения показателя ниже);

4. Количество символов в открытых вопросах;

5. Количество выбранных вариантов ответов в вопросах с множественным выбором;

6. Прямые оценки удовлетворенности респондентов различными аспектами опроса:

a Графическим оформлением анкеты;

b. Темой опроса;

c. Длиной опроса;

d. Опросом в целом.

Основные результаты

1. Интерактивный инструментарий и время заполнения анкеты

Первый же критерий для сравнения четырех проведенных нами опросов (время заполнения анкеты) показал, что использование современных интерактивных методик в сочетании с логотипами и изображениями, делающими вопросы анкеты более наглядными и простыми для понимания, влияет на данные онлайн опросов.


Рисунок 3. Среднее время на опрос в целом (секунд)

Как можно видеть на рисунке 3, среднее время, затрачиваемое респондентами на опрос в целом, сокращалось наряду с увеличением количества интерактивных элементов. Результаты двухфакторного дисперсионного анализа при этом показали значимость только первого фактора — технология Flash против html (FW32 = 6,655; p = 0,010). Т.е. опросники, выполненные на основе технологии Flash, позволяли респондентам проходить ту же самую анкету в среднем на 20–30% быстрее. Такая разница во времени заполнения выглядит особенно существенной, если добавить, что в показателях затрат времени уже заложено и время загрузки страниц анкеты, а оно при прочих равных всегда несколько больше при наличии интерактивных элементов.

В целом мы ожидали, что различия во времени так или иначе проявятся. При этом направление связи между временем заполнения и качеством данных требует дальнейшего эмпирического исследования.

2. Воздействие формы вопроса на качество данных: альтернативы стандартным табличным вопросам

Воздействие формы представления вопроса на качество данных мы проверяли на основе пяти табличных вопросов, заложенных в анкете: четыре из них были «классические», т.е. с возможностью выбора одного ответа в строке; еще один — с возможностью выбора нескольких ответов по каждому из тестируемых в вопросе объектов. В html опросниках все таблицы были выполнены в традиционном «бумажном» виде. Во Flash анкетах использовался интерактивный подход и табличные вопросы задавались с использованием метода drag-and-drop. Такая схема позволила нам сравнивать результаты одних и тех же по содержанию вопросов, но заданных в разной форме.

2.1. Табличные вопросы с одним ответом в строке

В качестве интерактивной альтернативы «классическим» табличным вопросам мы использовали вариант вопроса, где оценка исследуемых объектов могла осуществляться как «перетаскиванием» (метод drag-and-drop), так и «кликом» на соответствующий объект. Визуальная реализация табличных вопросов представлена на рисунках 4–7.


Рисунок 4. Табличный вопрос. Вариант HTML


Рисунок 5. Табличный вопрос. Вариант HTML


Рисунок 6. Табличный вопрос. Вариант Flash с логотипами


Рисунок 7. Табличный вопрос. Вариант Flash с логотипами

Обратившись к результатам анализа временных затрат на табличные вопросы (см. рисунок 8), можно заметить, что, как правило, добавление интерактивных элементов приводит к снижению времени, затрачиваемому на вопрос. Дисперсионный анализ показал, что значимыми оказываются различия между Flash опросником и html вариантом (F4>425 = 3,022; p = 0,018) и всегда в первом случае время значимо меньше (что полностью согласуется с показателями затрат времени на опрос в целом).

Рисунок 8. Среднее время заполнения табличных вопросов (секунд)

Вопрос 1

Вопрос 2

Вопрос 3

Вопрос 4

html без логотипов

140,67278

224,92593

150,71361

192,31083

html с логотипами

157,77657

123,87204

165,63343

73,26630

Flash без логотипов

106,53707

138,63131

71,26119

126,06499

Flash с логотипами

129,51899

172,49644

71,50435

126,80157

Для оценки качества ответов в два из пяти табличных вопросов мы добавили вариант ответа, проверяющий внимание респондента, а именно — насколько внимательно он читает варианты ответа на вопрос. Этот момент особенно актуален в случае, когда количество строк в табличном вопросе больше 12–15 и используется для выявления спидстеров — респондентов, склонных к быстрому заполнению анкеты без внимательного прочтения формулировки вопроса и вариантов ответа. Вариант для проверки внимания, например, в одном из тестовых вопросов нашей анкеты был сформулирован так: Это высказывание для проверки Вашего внимания. Пожалуйста, выберите для него вариант «Полностью согласен». Соответственно предполагалось по итогам опроса сравнить показатель качества, рассчитанный на основе этих двух ловушек, и соотнести его со временем заполнения этих же табличных вопросов.

Проверку качества ответов на «варианты-ловушки» мы проводили следующим образом. Использовалось три показателя: первые два относились соответственно к каждой из двух ловушек. То есть в первых двух случаях каждый респондент получал индекс 1 или 0 в случае, когда он успешно преодолел или не преодолел каждую ловушку. Третий был суммой первых двух и, следовательно, мог принимать значения 0, 1 или 2.

По результатам сравнения всех четырех подвыборок по третьему (суммарному) показателю преодоления ловушек значимых различий выявлено не было. (Использовался тест Краскела — Уоллиса, p = 0,136). Следовательно, можно сделать очень важный в свете темы данной работы вывод: по мере роста скорости заполнения анкеты (т.е. при использовании интерактивного инструментария) увеличения доли ошибок по невнимательности не происходило.

Табличные вопросы с возможностью множественных ответов

Отдельно мы хотели бы рассмотреть результаты тестирования интерактивного инструментария применительно к самому сложному из используемых в нашей анкете вопросу — табличному с возможностью множественного выбора. В данном вопросе респонденту предлагалось оценить семь брендов по 18 характеристикам (см. рисунки 9–12). При этом количество характеристик, отнесенных к каждому отдельному бренду, могло варьироваться в пределах от 1 до 18.


Рисунок 9. Табличный вопрос с возможностью множественного выбора. Вариант HTML


Рисунок 10. Табличный вопрос с возможностью множественного выбора. Вариант HTML с логотипами


Рисунок 11. Табличный вопрос с возможностью множественного выбора. Вариант Flash


Рисунок 12. Табличный вопрос с возможностью множественного выбора. Вариант Flash с логотипами

Первое, с чего мы начали анализ, это сравнили среднее количество ответов в исследуемых группах. В итоге во флэш анкетах, где данный вопрос был выполнен в виде модели с перетаскиванием, среднее количество ответов оказалось почти в два раза меньше, при больших затратах времени (см. рисунок 13).

Рисунок 13. Показатели для табличного вопроса с возможностью множественных ответов

Среднее количество

ответов

Среднее время, потраченное на вопрос в целом (секунд)

Среднее время на один ответ (секунд)

html без логотипов

26,91

166,57185

7,9555

html с логотипами

30,65

109,74187

4,7983

Flash без логотипов

17,87

185,41411

13,7239

Flash с логотипами

16,93

163,28340

12,0805

В соответствии со значимыми различиями во времени ответа на вопрос и в количестве выбранных вариантов ответа мы сравнили также и среднее время, затраченное респондентом на каждый ответ. В результате, как и ожидалось, значимые различия между Flash и html опросниками были выявлены и здесь (F3428 = 2,892, p = 0,035).

Как можно было бы проинтерпретировать столь заметную разницу в среднем количестве ответов? С одной стороны, количество ответов при использовании Flash опросника оказалось значимо меньше, чем в обычной таблице, и на первый взгляд это скорее минус, чем плюс. Однако стоит отметить следующее: в опросе участвовали респонденты, ранее неоднократно принимавшие участие в онлайн опросе. Поэтому классический табличный вопрос для них совсем не нов, так как используется он довольно часто. При этом в абсолютном большинстве случаев обязательным условием ответа на такой вопрос является минимум один ответ в строке. В нашем же случае, когда оценивались бренды, они были расположены в столбцах, и именно один ответ в столбце был необходимым минимумом (столбцов было 7, а строк 19). Глядя на очень маленькое среднее время, затрачиваемое на каждый ответ респондентом в случае обычного типа табличного вопроса, можно предположить, что стремление дать ответ в каждой строке у части респондентов сыграло роль в уровне среднего количества ответов. Если это действительно так, то в данном случае относительно новая модель, где нельзя просто «пройтись по всем строкам», а необходимо выбирать и «перетаскивать» подходящие характеристики к некоторым брендам, дает даже более достоверные результаты. Однако стоит подчеркнуть, что эта наша интерпретация носит гипотетический характер и требует дальнейших исследований.

Ответы на открытые вопросы и уровень удовлетворенности респондентов

В анкете, которую мы использовали для проведения эксперимента, было два открытых вопроса: один практически в самом начале, другой — в конце. Анализ результатов по первому из них не выявил никаких различий ни в длине среднего ответа (количестве символов), ни во времени, затрачиваемом на вопрос. Анализ данных по второму открытому вопросу позволил выявить некоторые различия. Во Flash опросах средняя длина ответов респондентов, по сравнению с html, увеличилась на 12–15%. Добавление изображений и логотипов приводило к росту количества символов в ответе в среднем еще примерно на 5%.

С учетом того, что во всех четырех опросах присутствовал индикатор прохождения опроса и респонденты знали, что данный вопрос — заключительный, подобные результаты могут рассматриваться как один из способов оценки удовлетворенности от участия в опросе. Однако, прежде чем делать какие-либо выводы об уровне удовлетворенности, обратимся к ее прямым оценкам самими респондентами.

При этом форма, в которой задавался вопрос, для html и Flash анкет отличалась в соответствии с тем, использовался ли в опросе обычный «бумажный» инструментарий или интерактивный15. В первом случае шкала была реализована в виде обычного закрытого вопроса с пятью вариантами ответов; во втором — в виде интерактивного слайдера, также с пятью градациями (см. рисунки 14–15).

В итоге, как и ожидалось после анализа открытых вопросов, уровень удовлетворенности респондентов по прямым оценкам значимо отличался между html и Flash опросниками по результатам дисперсионного анализа (см. рисунок 16): в последних он оказался в среднем выше более чем на полбалла (F4434 = 47,199, p = 0,000).


Рисунок 14. Оценка удовлетворенности. Вариант HTML


Рисунок 15. Оценка удовлетворенности. Вариант Flash


Рисунок 16. Средний уровень удовлетворенности респондентов по прямым оценкам

Заключение. Роль интерактивного инструментария

Полученные результаты в целом согласуются как со сходными исследованиями, так и с нашими предположениями об интерактивных элементах как улучшающих качество данных опроса за счет повышения соответствия динамическим характеристикам веб-среды. Так, использование технологии Flash и интерактивных элементов в анкете, как правило, приводило к значимому снижению времени заполнения анкеты при учете того, что мы добавляли в расчеты и время загрузки вопросов (оно было несколько больше для интерактивных вариантов). Более того, снижение времени происходило без потери качества по анализируемым критериям, а оценки удовлетворенности опросом оказались во Flash варианте значительно выше. Не столь однозначными оказались выводы по воздействию изображений и логотипов: здесь основной итог заключается в том, что это воздействие существует и оно может проявляться как в положительную, так и в отрицательную с точки зрения качества данных сторону.

Полученные итоги отнюдь не означают, что все онлайн опросы должны быть переведены на Flash. Тем не менее на основе проведенного эксперимента может быть сделан следующий общий вывод: при относительно длинной анкете, использовании громоздких и сложных для респондента вопросов (таких, как табличные) продуманное включение интерактивных элементов в опрос может способствовать повышению качества его данных.

Литература

1. Watt J. H. Using the Internet for Quantitative Survey Research [on-line] // Marketing research review. 1997. № 7. Доступ через. <//www.unt.edu/rss/class/survey/watt.htm>

2. Докторов Б.З. Отцы-основатели: история изучения общественного мнения / Под ред. М.Я. Мазлумянова. М.: Центр социального прогнозирования. 2006.

3. Manfreda K.L, Batagelj Ъ., Vehovar V. Design of Web Survey Questionnaires: Three Basic Experiments [on-line] // Journal ofComputer-Mediated Communication. 2002. № 3. Доступ через: <//english.fdvinfo.net>

4. Couper M.P. Web Surveys: A Review of Issues and Approaches // Public Opinion Quarterly. 2000. Vol. 64. No. 4. P. 464–494.

5. Couper M.P, Traugott M.W., Lamias M.J. Web Survey Design and Administration // Public Opinion Quarterly. 2001. № 2. P. 230–253.

6. Dillman, D.A., Tortora R.D, Bowker D. Principles for Constructing Web Surveys [on-line] // SESRC Technical Report. 98–50. Pullman. Washington. 1998. Доступ через: <//survey.sesrc.wsu.edu/dillman/papers/websurveyppr.pdf >

7. Bowker, D, Dillman, D. A. An experimental evaluation ofleft and right oriented screens for Web questionnaires // <//survey.sesrc.wsu.edu/dillman/papers/ AAP0Rpaper00.pdf>. 2000.

8. Sleep D, Puleston J. Panel quality: Leveraging interactive techniques to engage online respondents // Conference paper — ARF convention & expo. 2009.

9. Gunn H. Web-based surveys: Changing the survey process [on-line] // First Monday. 2002. № 7. Доступ через: <www.unt.edu/rss/class/survey/gun.html>

Качественные онлайн исследования1

Дим Петер («ГфК-Австрия», Австрия)

1 Перевод статьи выполнен Давыдовым С.Г., «ГфК-Русь»

Цель настоящей статьи — дать общее описание практики качественных маркетинговых исследований с использованием Интернета. За последнее десятилетие онлайн методики зарекомендовали себя в качестве оперативных и экономичных средств изучения рынков и общественного мнения. Это стало возможно благодаря росту числа потребителей, с которыми можно установить контакт через Сеть. Рисунки 1 и 2 наглядно демонстрируют, что Интернет можно использовать для исследования не только развитых рынков Северной и Западной Европы, но также Центральной, Южной и Восточной Европы, где проникновение Интернета на данный момент весьма существенное.


Рисунок 1 Рисунок 2

В Польше, например, Сетью пользуются 52% взрослого населения, то есть 16,6 миллиона жителей. В большинстве Балканских государств ежедневно выходят в Интернет около трети граждан. В Российской Федерации показатель проникновения равен 26%; однако, принимая во внимание численность населения, можно констатировать, что Интернет в этой стране охватывает более 30 миллионов человек.

Столь впечатляющие показатели не могли не вдохновить маркетинговых исследователей на разработку разнообразных количественных интернет-методик. Существует множество программных решений для формирования электронных анкет и администрирования панелей. Компании — лидеры рынка маркетинговых исследований поголовно предлагают реализацию количественных онлайн проектов на базе предоставляемых клиентом списков адресов электронной почты или «панели доступа» (access panel). Некоторые фирмы специализируются на продаже заказчикам выборок, для построения которых используются огромные международные панели; таким образом, появляется возможность доступа к очень специфическим целевым группам. В связи со снижением эффективности телефонных опросов более 40% маркетинговых исследований в Соединенных Штатах реализуются через онлайн. Каждое третье интервью проводят в онлайн режиме. Тем не менее многие индустриальные клиенты по-прежнему не желают пользоваться такими преимуществами интернет-исследований, как оперативность, возможность демонстрации мультимедийного контента и сравнительно низкая стоимость. Основной аргумент противников онлайна заключается в том, что последний может обеспечить контакты только с частью населения. При этом игнорируются несколько важных факторов.

1. Пользователи Интернета — в основном высокообразованная, более молодая и довольно состоятельная часть населения, то есть наиболее интересная целевая аудитория, если идет речь о выпуске новой продукции.

2. Онлайн исследования «бизнеса для бизнеса» («B2B») позволяют установить связь практически со всеми потенциальными респондентами.

3. Многие актуальные исследовательские направления — включая опросы сотрудников предприятий и членов профессиональных ассоциаций, исследования удовлетворенности клиентов — построены на базах адресов электронной почты, предоставляемых заказчиками.

4. Для некоторых исследований, например тестов образцов рекламы («победители — всегда победители, а проигравшие — всегда проигравшие») или качественных подходов, требуется лишь небольшое число респондентов.

В наши задачи не входит подробное рассмотрение сферы практического использования количественных онлайн исследований. Решение проблемы репрезентативности может быть связано с тщательной проработкой процедуры взвешивания, однако решающими аргументами в пользу Интернета как средства коммуникации с респондентами могут стать использование мультимедийного контента, скорость реализации и стоимость проекта. Аналогичные аргументы можно привести в защиту качественных онлайн исследований.

Основные свойства качественных исследований рынков и общественного мнения

Если количественные исследования, как и следует из названия, основываются на сравнительно больших выборочных совокупностях (эмпирическим минимумом считается n = 200), то для качественных исследований необходимо меньшее число респондентов — скажем, от 8 до 80. Если анкеты количественных исследований состоят по большей части из так называемых закрытых вопросов, основным свойством качественных исследований является наличие открытых вопросов, глубинных интервью, дискуссий, а также разнообразных психологических тестов. Поскольку многие из этих подходов могут использоваться также в режиме онлайн, приведем краткий перечень качественных методик маркетинговых исследований.

а) Формализованные методики:

— личное интервью один на один

— биографическое интервью

— фокуссированная групповая дискуссия

— креативная фокус-группа

— экспертный мозговой штурм

— холл-тест

— наблюдение

— этнографическое исследование

— симуляция полки магазина

Неформализованное интервью — признак качественного исследования. При проведении глубинных интервью, групповых дискуссий, креативных сессий, тестов или при простом наблюдении добиться удовлетворительных результатов способны только профессиональные интервьюеры (психологи, социологи и т.д.). При исследовании мотивации учитываются такие факторы, как речь, выражение лица, язык тела и др.

б) Психологические инструменты:

— вербальные ассоциации

— ментальные карты (добавление слов к изображениям)

— ролевые игры

— рисунки, схемы, коллажи

— завершение предложений или историй

— персонализация

— сортировка фотографий

— составление некрологов для брендов или фирм

— техника «мыслей вслух»

— демонстрация изображений в течение короткого времени («тахистоскоп»)

В большинстве случаев результатами применения этих методик и инструментов становятся объемные заметки или транскрипты записанных диалогов, которые нуждаются в анализе и проработке на предмет отбора иллюстративных цитат. Решение этой задачи облегчается за счет использования программного обеспечения, предназначенного для анализа текстов. Такие программы разного уровня сложности можно скачать из Интернета. В отличие от отчетов на основании количественных исследований, качественный анализ содержит более богатые текстовые и изобразительные материалы. Их основополагающая задача состоит в том, чтобы выявить и описать рациональные основания и подсознательные мотивы принятия потребительских решений.

В соответствии с общепринятой профессиональной практикой вслед за мотивационным исследованием проводится количественное исследование, цели которого: а) подтверждение гипотез, сформулированных по результатам мотивационного исследования, б) измерение распространенности этих мотивов среди всего населения.

Качественные исследования с использованием Интернета

Итак, определив качественные исследования как ряд методик, использующихся для выявления и подробного описания подсознательных мотивов, мы можем приступить к рассмотрению возможностей применения Интернета в качестве «средства передачи информации» в подобных исследованиях. Распространение широкополосных интернет-коммуникаций предоставляет гораздо больше возможностей, чем это можно было вообразить всего несколько лет назад. Далее мы покажем, что традиционные ограничения в пространстве и времени больше не действуют. Два приведенных ниже рисунка, наглядно отражающих основные методы маркетинговых исследований, послужат основой для дальнейшего анализа.


Рисунок 3

Есть такая шутка: социальное исследование можно построить на одном интервью в том случае, если последнее продолжается двенадцать часов. Выборка большинства фокусированных групповых дискуссий — от 8 до 12 человек, представляющих определенную целевую группу. Чтобы достичь определенного уровня репрезентативности, в рамках одного исследовательского проекта обычно проводят от 3 до 6 фокус-групп. Исследование может быть построено как серия ответов на вопросы, серия высказываний на заданную тему, дискуссия или эксперимент. Если фокус-группа может быть проведена как в оффлайне, так и в онлайне, то доски объявлений (bulletin board) и блоги (Weblog) — это методы исключительно онлайн исследований. Что же представляют собой эти методы? Количество участников, как правило, больше — от 10 до 13 человек. То же самое следует сказать и о методе Дельфи, то есть исследованиях, которые проводятся в две или три волны, причем каждый раз опрашиваются одни и те же респонденты. Ознакомившись с данными предыдущей волны, эксперты могут изменить свое мнение по обсуждаемой проблематике, что в итоге позволяет провести более глубокий анализ изучаемой проблемы.

Количественно-качественные исследования — интересный промежуточный пример, который также будет описан ниже.

Хорошо известно, что классический опрос населения не должен осуществляться на выборке меньшей, чем 500 интервью. Возможная статистическая ошибка в таком случае будет колебаться в интервале между 1,5% и 4,4%, в зависимости от распределения вариантов ответа.

Если на рисунке 3 показано количество респондентов, необходимое для проведения различных качественных исследований, то на рисунке 4 демонстрируются временные ресурсы, которые, как правило, нужны для реализации онлайн проектов. Диапазон достаточно велик — от одного часа до нескольких недель, в зависимости от методики, объема выборки и предмета исследования. В отличие от оффлайновых фокус-групп, которые могут проводиться в течение 1–3 часов, продолжительность онлайн фокус-группы составляет не более полутора часов. Блог в формате интернет-дневника заполняется в продолжение от 1 до 4 недель, в зависимости от того, какие именно стороны потребительского поведения фиксируют респонденты-блоггеры. Как можно заметить, метод доски объявлений занимает промежуточное положение. Респондентов здесь достаточно, но и не слишком много, а продолжительность исследования — менее двух недель, включая анализ. Ниже мы подробно рассмотрим преимущества данного подхода.


Рисунок 4

Преимущества двух подходов: количественно-качественное исследование

Количественно-качественное онлайн исследование — это уникальная возможность быстро и дешево получить информацию о сла- боизученном рынке или социальном феномене. Включив один или два открытых и один или два закрытых вопроса в онлайн анкету, которую заполнят, предположим, n = 200 респондентов, исследователь сможет получить базовое представление о потребительских привычках или социальном поведении.

Рассмотрим пример из практики. Австрийский исследовательский институт подписал с египетским туристическим агентством договор на консультирование по программам отдыха в Египте. Ранее австрийская исследовательская компания никогда не работала с этим рынком. У ее специалистов не было ни малейшего представления о том, что думают австрийцы по поводу отдыха в этой стране. Итак, представителям репрезентативной онлайн панели института был задан открытый вопрос: «Что приходит Вам в голову, когда Вы думаете об отдыхе в Египте? Пожалуйста, запишите максимально подробно». Далее следовал закрытый вопрос, приходилось ли респонденту бывать в этой стране и думал ли он о том, чтобы ее посетить. Приглашение принять участие в исследовании было разослано N = 400 панелистам. Немногим более суток спустя количество заполненных онлайн анкет составило n = 220. Оперативно проведенная в онлайне кодировка ответов на открытый вопрос и анализ распределения ответов на закрытый вопрос дали следующие результаты. Посещение пирамид 65,7%

Переправа через Нил 43,4%

Плавание, дайвинг 17,6%

Путешествие по пустыне 12,4%

Культурные достопримечательности 7,1%

Очень жаркий климат 6,2%

Боязнь террористов 5,2%

Отсутствие интереса и др. 6,0%

Так называемые реплики (verbatim), то есть неотредактированные ответы на открытые вопросы, самостоятельно введенные респондентами, для дальнейшего анализа кодировались в онлайне с помощью специального модуля исследовательского программного обеспечения. Таким образом, исследователи через несколько часов смогли отчитаться о полученных результатах. Что же удалось выяснить благодаря применению этой «простенько, но со вкусом» разработанной методики? Прежде всего, за сутки или около того опросом были охвачены все части страны и представители всех возрастных групп. (14% респондентов отметили, что путешествие в Египет их, безусловно, интересует.) Во-вторых, анализ реплик позволил выявить иерархию интересов. Как оказалось, боязнь террористических актов не влияла на принятие решения у подавляющего большинства респондентов. В дополнение к этому спонтанные ответы, такие как «поездка по дюнам на квадроцикле» или «интерес к экзотической кухне», могли стать источником дополнительных идей для менеджеров туристической фирмы.

Обыденная сложность — онлайн фокус-группа

Онлайн фокус-группы (ОФГ), как и большинство онлайн методов, имеют ряд преимуществ. Во-первых, они дают исследователю возможность набирать респондентов из любых частей страны. Во-вторых, анализ результатов и подготовка отчета могут быть проведены сравнительно быстро, так как запись интервью готова сразу же по его окончании. В-третьих, гораздо дешевле собрать мнения в рамках онлайн дискуссии, чем приглашать респондентов в специальное помещение для личного присутствия на обсуждении. Наконец, существуют эффективные возможности тестирования мультимедийного контента. Обсудить удобство и простоту интерфейса сайта или же рекламу в Интернете лучше в рамках ОФГ, чем посредством оффлайновой дискуссии.

С другой стороны, у ОФГ есть и существенные недостатки. Большинство авторов отмечают, что онлайн-дискуссиям не хватает личного контакта: невозможно наблюдать за выражением лица, «читать» язык тела. К участию в исследовании могут быть привлечены только представители целевой группы, быстро набирающие текст на клавиатуре. Тестирование проводится без учета запаха и осязания и др. Наш опыт говорит о том, что эти факторы — не решающие. Параллельные тесты показали, что результаты оффлайновых и онлайновых фокус-групп практически полностью совпадают. Однако хотелось бы обратить внимание на другие недостатки. Прежде всего для проведения онлайн фокус-группы необходимы специальные навыки. В большинстве случаев нужны два человека: психолог, хорошо знающий Web 2.0, — для модерирования группы, и ассистент — для решения технических задач, таких как общение с опоздавшими респондентами, публикация вопросов и демонстрация стимульных материалов, оперативный анализ количественных результатов и др. Основной недостаток метода, однако, состоит в том, что распечатки по итогам ОФГ получаются сравнительно «тонкие». Понятно, что даже очень опытные серферы способны написать не такие уж пространные тексты. Из-за вводных комментариев и замечаний, которые вынужден делать модератор («пожалуйста, уточните», «пожалуйста, разрешите нам узнать ваше мнение, участник Х», «пожалуйста, дайте высказаться другим» и др.), определенное время будет потеряно. Таким образом, по истечении 60–90 минут в результате немалых усилий со стороны и респондентов, и модератора объем полученного текста оказывается неутешительно мал. Тем не менее, принимая во внимания все «за» и «против», выбор ОФГ для решения определенных задач следует признать вполне оправданным — например, когда по замыслу исследователя принципиально важно получить спонтанные суждения респондентов, а результаты нужны оперативно.

Для проведения онлайн фокус-групп используется специальное программное обеспечение, выбрать которое помогут ответы на следующие вопросы:

а) Существует ли потребность в сложной программе со множеством различных опций, например, позволяющих создавать стандартные письма для приглашения респондентов? Или же достаточно будет простого решения, вроде тех, которые используются для поддержки чатов?

б) Собирается ли психолог задействовать белую доску, то есть функцию, позволяющую участникам группы не только набирать текст, читать его, знакомиться с мультимедийным контентом, но и рисовать на экране? В этом случае должны использоваться Java-апплеты, что сопряжено с риском программных сбоев.

в) Какую сумму хочет инвестировать исследователь в программное обеспечение? Другими словами, возможно ли обойтись бесплатными или дешевыми разработками?

г) Поддерживает ли программное обеспечение ваш язык?

Онлайн фокус-группа с «белой доской»


Рисунок 5

Мы советуем начать с простой и недорогой программы, например //www.groupboard.com (дешевая, с белой доской) или //campfirenow.com (распространяется бесплатно).

Программное обеспечение для ОФГ также можно использовать для онлайн интервьюирования один на один. В этом случае группа будет состоять из единственного участника и психолог сможет потратить все время на «разговор» со своим собеседником. Другая возможность — провести «личные» интервью с помощью доступного программного обеспечения для обмена сообщениями, например Skype, ICQ или MSN Messenger. По мере распространения социальных сетей Web 2.0 респонденты — особенно молодые — будут готовы к личному контакту с интервьюером через веб-камеру. Естественно, у этой методики также есть свои недостатки: участник исследования должен подписаться на программное обеспечение для обмена сообщениями и подключить к компьютеру камеру. И поскольку анонимность участия — характерное свойство онлайн исследований — в данном случае неочевидна, «под удар» попадают откровенность и полнота ответов.

Проведение исследований с помощью «видеоконференций» не стало распространенной практикой из-за целого ряда трудностей технического и психологического характера. Собрать от 6 до 10 человек, имеющих широкополосный доступ к Интернету, и обеспечить эффективную дискуссию можно только при наличии профессиональной технической поддержки. Очевидно, что это сказывается на стоимости проекта. И, как уже было сказано, человек не всегда естественно ведет себя перед веб-камерой.

Ведение онлайн дневника (блога)

Для сбора данных методом онлайн дневников, как и для ОФГ, существует множество программ. Разработки, предназначенные для решения этой задачи, используются также для обычных веблогов или блогов. Примером бесплатного программного обеспечения, подходящего для реализации проекта онлайн дневников, может служить //wordpress.org/

К заполнению онлайн дневников можно привлечь больше респондентов, и вести их они могут в течение более длительного времени. Типичный пример: выборка n = 30, участники исследования сообщают о том, что едят на завтрак на протяжении, скажем, двух или трех недель. Каждый респондент пользуется индивидуальным программным обеспечением, поэтому общение между исследуемыми исключается. Почему для решения подобных задач не используется обычное программное обеспечение для количественных онлайн исследований? Можно, конечно, настроить систему для онлайн исследований таким образом, чтобы ежедневно для участников выборки, сформированной из онлайн базы адресов института, открывалась новая страница дневника. Однако блог проще программируется и гораздо больше подходит для получения длительных текстовых сообщений и проведения определенного рода психологических тестов. В то же время анализировать полученные результаты относительно нелегко. Поэтому мы рекомендуем использовать онлайн дневники только для решения задач, предполагающих самонаблюдение в течение длительного периода времени, при котором респонденты должны — и выражают готовность — «рассказывать истории».

Недавно прошла достаточно активная дискуссия по поводу «онлайн этнографии». Подробное обсуждение этографической проблематики в рамках данной статьи не представляется возможным. Однако следует отметить, что онлайн дневники могут с успехом быть использованы для базовых этнографических исследований: 1) исследователь может выявлять мнения и изучать привычки потребителей, основываясь на текстах; 2) участников можно попросить предоставить фотографии, например, их кладовки, обеденного стола или даже магазина, в котором они делают покупки. Таким образом, может быть собран значительный объем данных, даже если речь и не идет о классической форме «включенного наблюдения».

Следует отметить, что для всех видов качественных онлайн исследований требуются более значительные поощрения опрашиваемых, чем при заполнении количественных онлайн анкет. Согласно принятой практике респондент должен получить вознаграждение, которое в десять раз превышает полагающееся за участие в количественном исследовании.

Лучший пример из опыта — дискуссии на досках объявлений

Мы не случайно решили рассказать о методике досок объявлений в заключительной части нашей статьи. Дело в том, что эта разновидность качественных онлайн исследований самая практичная и эффективная.

Как показано на рисунках 3 и 4, доски объявлений (ДО) позволяют осуществлять сбор информации в рамках групповой дискуссии, в которой принимают участие от 10 до 15 респондентов. Обычное исследование с использованием ДО начинается в понедельник или во вторник и продолжается от 5 до 7 дней. Поскольку весь текст обсуждения сразу же доступен в электронном виде, к анализу можно приступать немедленно. Следовательно, уже на неделе, следующей за дискуссией, может быть готов отчет по ее результатам.

Доска объявлений — защищенный паролем дискуссионный форум, к которому получают доступ только приглашенные участники. Естественно, число отправленных приглашений должно быть больше, чем ожидаемое количество активных участников (например, N = 15 для получения n = 10).

В первый день ДО модератор представляет участников и определяет тему дискуссии. Рекомендуется начать работу с размещения картинки, графика или карты. Участникам исследования предлагается оставлять подробные комментарии в любое удобное для них время в течение дня. Это еще одно преимущество: респонденты — в особенности люди занятые — не чувствуют себя ограниченными во времени. В результате большинство утверждений имеют продуманный характер и подробно описывают предмет обсуждения.

Пример, приведенный на рисунке 6, свидетельствует о том, что участники исследования часто пишут по десять и более строк текста. Некоторые исследовательские методики позволяют модератору вступать в дискуссию чаще чем раз в день — к примеру, для того, чтобы резюмировать высказанные замечания или перейти к рассмотрению следующего вопроса. По окончании дискуссии в распоряжении исследователя может оказаться довольно объемный текст, иногда более 50 страниц. Это значительно превышает возможности любой другой качественной методики. Конечно, в таком случае возникает вопрос: что делать с таким длинным текстом? Некоторые соображения на этот счет приводятся ниже.

ДО можно применять для различных целей. France Television пользовалась этой методикой для того, чтобы зрители посмотрели и прокомментировали пилотную серию нового телесериала. На примере, приведенном выше, представлен фрагмент дискуссии вокруг изображения многоцелевого спортивного комплекса в Вене. В ДО, как и в других онлайн приложениях, имеется возможность включать стимульные материалы различного типа: картинки, графики, сценарии, видеофайлы (загруженные на YouTube), ссылки на внешние сайты, образцы звуков и др. Этой возможностью мы рекомендуем активно пользоваться. Участникам группы предлагается не только отвечать на вопросы модератора, но и комментировать записи других участников. Доски объявлений получаются наиболее удачными, если темы, которые обсуждаются, интересные или спорные. Не составляет проблемы включить в ДО психологические тесты. В некоторых случаях, чтобы избежать влияния участников исследования друг на друга, имеет смысл попросить их прислать результаты теста модератору по электронной почте, чтобы избежать их влияния друг на друга. После обработки модератором результаты можно обнародовать и обсудить в группе.


Рисунок 6

Перевод текста обсуждения: «Я определенно не могу сказать много о F-Halle, но в памяти осталось представление, которое мы посетили там в прошлом году. На Seniorkom я выиграл два билета на постановку «Steiner's Theaterstadl», которая не привела меня в восторг, это было нечто в стиле «Lоwinger». Старый Штайнер не участвовал в спектакле, потому что он якобы получил травму на пробах. Но, как говорится, дареному коню в зубы не смотрят. Что еще я помню? Во время перерыва в фойе нахлынули ностальгические воспоминания о 1961–64 гг., когда я учился в профессиональном училище. Я, кстати, узнал, что в конце марта в F-Halle будет в гостях Иоанн Бец. Я с удовольствием слушаю ее песни, моя любимая — «Баллада Сакко и Ванцетти». И песня-протест «We shall overcome» («Мы преодолеем») — супер. Но это было отсупление в прошлое, когда мы еще были молодыми, прежде всего, бунтарями». — «Я не знал, что существует новый F-Halle. Это стало бы для меня причиной побывать там еще раз. Существует ли для отдельных залов определенный репертуар и предъявляются ли какие-либо особые требования?»

У всех качественных онлайн исследований, направленных на получение текстовой информации, есть одно общее свойство: респондент не покидает привычного жизненного пространства. Ему или ей не приходится выставлять себя на всеобщее обозрение, что позволяет свести к минимуму возможность расовых проблем. Участники групповой дискуссии имеют возможность расслабиться, не обращая внимания на свою одежду или макияж, потому что скорее всего будут участвовать в исследовании, находясь дома. Отсутствие прямого социального контроля означает, что работать с чувствительными темами (деньги, секс, политически некорректные взгляды и др.) становится проще. В онлайн режиме интровертам легче делать критические замечания, что позволяет добиться более высокой активности опрашиваемых. Практика свидетельствует о том, что мнения, собранные в рамках онлайн исследований, как правило, более критические, чем данные, полученные в оффлайне. Впрочем, это также связано с более высоким уровнем образования участников онлайн исследований.

Программы онлайн фокус-групп и досок объявлений предоставляют клиентам возможность дистанционного наблюдения за дискуссиями в качестве «невидимых гостей».

Работа с объемным текстом

Как мы упоминали выше, результатом качественных исследований обычно бывают большие тексты. Чтобы облегчить процедуру кодирования и анализа, можно начать с подсчета частоты упоминаемости слов. Простейший способ решить эту задачу — сгенерировать «облако слов». Весьма любопытно, что подобную возможность предоставляет польский сайт, распложенный по адресу: //tocloud.com

Вот что получится на выходе, если ввести туда полный текст настоящей статьи (рис. 7).

Легко заметить, что программное обеспечение показывает частоту упоминания как для слов, так и для словосочетаний. Эта простая процедура, которая может быть проделана бесплатно за несколько секунд, дает исследователю возможность получить общее представление, о чем говорится в «теле текста».


Рисунок 7

Можно детальнее проанализировать тексты, воспользовавшись более сложными программами подсчета частоты упоминания. Прекрасный образец такой программы — российское программное обеспечение Textanz (//www.cro-code.com/textanz.jsp">www.cro-code.com/textanz.jsp). Оно разработано в Санкт-Петербурге и продается за 18 евро. Textanz вычисляет не только частоту использования слов, но и целый ряд других текстовых статистик, например среднюю длину слова, лексическую плотность и др. Одна из ее замечательных возможностей — маркировка заданных слов для того, чтобы показать их в исходном контексте.

На практике текстовый анализ может быть проведен либо посредством «вдумчивого чтения», либо путем квантификации с использованием кодирования. Эту процедуру можно упростить, если использовать сложные и соответственно более дорогостоящие программы Atlas.ti или MaxQDA. Информацию об этих разработках можно найти на сайте //www.textanalysis.info/qualitative.htm

Примечание. При работе с досками объявлений главное — не переусердствовать. Не стоит проводить более трех обсуждений по одной теме. Большой объем текста, собранного таким образом, станет помехой для вдумчивого анализа. Исследователь будет вынужден пойти на решение «бесконечной» задачи кодирования текста — заканчивая количественным анализом вместо качественного.

Резюме

Качественные онлайн исследования — это спящая красавица, по-прежнему ждущая принца, который ее разбудит. Как было показано выше, такие исследования позволяют преодолевать пространственные ограничения, обеспечивая возможность собирать мнения вне зависимости от местоположения респондентов. Можно тестировать любые мультимедийные стимульные материалы. Репрезентативность — не проблема. На получаемые результаты не оказывают влияния фактор интервьюера или социальное давление. Ответы респондентов получаются более откровенными, а тексты — более длинными. Качественные онлайн исследования позволяют по-новому взглянуть на многие аспекты исследовательской деятельности, не говоря уже о том, что проводятся они значительно быстрее, а стоят дешевле. В этой связи хочется еще раз подчеркнуть, что оптимальным решением являются доски объявлений.

Онлайн фокус-группы в формате форума: эффективность, проверенная международной практикой

Лонго Джим (Itracks International Inc., США)

Качественные онлайн исследования уже являются проверенным методом проведения маркетинговых исследований, а получаемые в онлайн фокус-группах данные очень близки по содержанию к результатам традиционных фокус-групп. Имея опыт проведения тысяч онлайн групп, модераторы научились понимать особенности формулирования людьми своих ответов в виде текста в онлайн режиме, а также научились определять эмоции людей при общении в Сети. Мы обнаружили, что независимо от того, в какой форме подается текст — в письменной или устной, — основные результаты исследования практически не отличаются.

Передача текстовых сообщений в онлайн режиме уже стала частью нашей повседневной жизни, а электронная почта, чат и мгновенные сообщения (например ICQ) становятся такими же важными инструментами общения, как телефон. С недавних пор ведется дискуссия об использовании блогов в качестве эффективного инструмента сбора качественных данных, но я рекомендую использовать их в качестве источника информации для проведения вторичных исследований. В блогах может быть много «подставных лиц» со своими собственными скрытыми мотивами (например, продвижение определенных товаров), поэтому блоги не являются достоверным инструментом для сбора данных. В настоящий момент основная реакция профессионалов на блоги сводится к мнению, что модератор не обладает достаточным контролем для эффективного направления дискуссии к ее цели. Для того чтобы провести хорошее исследование, методика должна быть надежной.

Мы рекомендуем осуществлять рекрутирование для качественных онлайн исследований с помощью онлайн панелей. Важно, чтобы компания-рекрутер придерживалась жесткой системы отбора в соответствии с профессиональными нормами и стандартами. Как правило, авторитетный провайдер панели может обеспечить качественную выборку для вашего исследования.

В настоящее время существует две основные методики онлайн качественных исследований; с их помощью можно в полной мере контролировать процесс проведения проекта. Первая методика — это онлайн фокус-группы (ОФГ) или чат-группы, которые проводятся в реальном времени и подходят для отслеживания первоначальной реакции на концепцию или идею. Как происходит чат-группа? В основном, такие группы позволяют «снять» поверхностную реакцию, а также получить базовую «направляющую» информацию. Однако в чат-группе сложно инициировать диалог между респондентами, который показал бы глубокое понимание вопроса. Вторым типом онлайн качественных исследований являются фокус-группы в формате форума (ФГФФ). ФГФФ проводятся в асинхронном (разделенном во времени) режиме. При внедрении этой схемы основная идея состояла в проведении дискуссии в течение определенного времени и разделении ее на несколько тематических частей. Исследователи посчитали, что, если дать респондентам возможность входить в систему и выходить из нее, когда им удобно, у них будет больше времени на обдумывание своих ответов и чтение комментариев других респондентов. Фокус-группы в формате форума позволяют достичь более глубокого и полного понимания в ходе онлайн дискуссий, если их будет вести модератор, владеющий техниками онлайн общения. Мнение о том, что люди не будут принимать участие в дискуссиях в течение длительного времени, в действительности оказалось ошибочным. В то время как большинство ФГФФ проводятся в течение трех дней, некоторые из них могут длиться несколько недель, а иногда и месяцев.

Таким образом, ФГФФ эволюционировали в платформу, которая дает качественным исследователям больше контроля над их виртуальной комнатой для фокус-групп. В конце концов, контроль является краеугольным камнем любой эмпирической конструкции. ФГФФ проводятся на платформе, где респондентов приглашают присоединиться к защищенной паролем онлайн дискуссии или фокус-группе в отношении продукта, бренда или услуги. Такие группы, как правило, проходят в течение трехдневного периода.

Модератор имеет полный контроль над временем размещения вопросов, а также временем и продолжительностью демонстрации стимулов (таких как концепции, рекламные объявления или видеоролики). Модератор ФГФФ может размещать в меню вопросы, а также повторно размещать те вопросы, которые были введены ранее; просматривать и пояснять вопросы в реальном времени для всех участников или в частном порядке. Дополнительно можно разбивать участников на подгруппы, что позволяет использовать определенные проективные техники и уточнять полученную информацию. Вы можете обеспечить вход респондента в систему в установленный день в течение нескольких недель или даже нескольких месяцев.

Вопросы могут задаваться с подсказкой — когда респонденты могут видеть ответы других участников — или без подсказки, когда они должны дать свой ответ прежде, чем смогут увидеть чужие ответы. Это похоже на методику, когда респондент пишет что-нибудь в блокноте перед тем, как поделиться этим с остальными участниками очной группы.

ФГФФ позволяет клиентам наблюдать за происходящим и общаться с модератором посредством виртуальной «темной комнаты». Это дает возможность наблюдателям быть частью исследовательского процесса и вносить свой вклад в многочисленные обсуждения тестируемой концепции до ее выхода на рынок. ФГФФ также несет и образовательную функцию, ведь более молодые исследователи могут учиться, наблюдая, как ведет группу опытный модератор.

ФГФФ может придать дополнительную динамику исследовательскому циклу, если будет использоваться совместно с количественными методиками. Количественные опросы гибридного типа, в которых респондентов спрашивают, заинтересованы ли они в участии в ФГФФ, сразу же после или во время количественной части, могут дать дополнительную информацию о том, почему определенные группы респондентов дают те или иные ответы. Это увеличит полноту и качество отчетов, которые вы предоставляете клиентам по итогам проектов. Другое преимущество состоит в возможности пригласить на ФГФФ респондентов, принимавших участие в первоначальном количественном тестировании концепции, после ее пересмотра. Такие респонденты уже являются высокоин- формированными об изучаемой концепции, а значит, могут с легкостью давать комментарии по ее доработке, что не требует дополнительных затрат или времени, необходимых в случае набора новых респондентов.

Веб 2.0 все больше проникает в наш мир, и мы видим, какие новые возможности дает Интернет в области интерактивных и проективных методик. Речь идет о таких возможностях, как; классификация, подчеркивание ключевых слов или размещение собственных фото и видео.

В процессе проведения ФГФФ наши респонденты выполняют домашние задания: например, ходят по магазинам, рассматривая расположение товаров в точках продаж или пытаясь оценить конкурентов, а затем делятся мыслями и наблюдениями со всей группой. Модераторы, которые проводят традиционные оффлайн фокус-группы, используют ФГФФ для продолжения дискуссии или предварительного обучения респондентов, предлагая им заранее концепцию на тестирование. Это способствует более продуктивному использованию времени людей на очной фокус-группе. Клиенты используют ФГФФ как инструмент для ведения личных блогов респондентов или дневников с результатами домашнего тестирования продуктов. Респонденты могут также регулярно размещать на форуме свои комментарии о процессе пользования определенными продуктами или услугами. ФГФФ идеально подходят для качественных В2В исследований, так как они дают топ-менеджерам возможность входить в систему в подходящее для них время; а возможность в любое время наверстать упущенное, ответив на уже заданные модератором вопросы, позволяет респондентам не переживать по поводу того, что они не смогли зайти на форум в строго определенное время. Это дает респондентам чувство контроля над процессом участия в исследовании, предоставляя им время на обдумывание ответов без отвлечения на повседневные дела. Такой формат гораздо удобнее для занятых или высокодоходных участников, чем необходимость приезжать на оффлайн-группу.

ФГФФ используются уже во многих исследовательских проектах. Профессиональные исследователи по всему миру теперь смотрят на них как на надежный, многоцелевой и качественный инструмент. Применив и освоив фокус-группы в формате форума в дополнение к привычным исследовательским инструментам, вы будете удивляться, как могли так долго жить без них.

Форумная онлайн дискуссия: проблемы организации и проведения

Лебедев Павел Андреевич, Полякова Валентина Валерьевна (Общероссийский общественный фонд «Общественное мнение»)

Об онлайн исследованиях уже давно говорят как об основном тренде в развитии методов прикладных социологических и маркетинговых исследований. Еще 9 лет назад Б.Докторов, опираясь на западный опыт16, говорил об онлайновых опросах как об обыденности наступившего столетия, во многом предвосхищая тот интерес, который наблюдается к ним сейчас [1]. В российской исследовательской (прежде всего маркетинговой) среде практика использования массовых опросов в Сети, онлайн панелей уже успела оформиться, но совсем недавно начала получать научную легитимацию17.

C развитием качественного исследовательского подхода в Сети дела обстоят еще хуже. Исследовательские компании уже включают методы онлайн фокус-групп и онлайн интервью в список предоставляемых услуг, однако устоявшегося общепринятого понимания того, что же скрывается за данными понятиями, до сих пор нет.

В западной литературе существует не очень большой, но все же вполне заметный корпус текстов, посвященных особенностям использования метода фокус-групп в Интернете. Среди российских публикаций нам удалось обнаружить небольшое количество работ по этой проблематике. Все они представляют собой краткие описания методики ознакомительного характера, ограничивающиеся перечислением ее потенциальных возможностей и ограничений [2;3;4].

Задача данного текста заключается в том, чтобы совместить теоретические описания метода с демонстрацией ее практического применения. При этом акцент будет сделан именно на процедурных моментах методики и иллюстрации ее применения на конкретном примере. За рамками текста остаются вопросы, касающиеся содержательной стороны исследования и получаемых в результате полевых материалов. Это предмет отдельного обстоятельного разговора.

Таким образом, в первой части статьи будет описана основная специфика сетевого взаимодействия (коммуникации), которая влияет на его сущностную составляющую. Затем будут рассмотрены некоторые основания для различения качественных онлайн методов. После этого мы последовательно рассмотрим основные этапы проведения онлайн дискуссии (рекрутирование участников, проведение дискуссии, завершение дискуссии), сфокусировавшись на возникающих в процессе сложностях и проблемах.

За практическую основу для данной статьи взят исследовательский проект фонда «Общественное мнение» «Поколение XXI: структура и «среды» достижительных стратегий»18, в рамках которого за период с февраля по октябрь 2008 года было проведено 43 онлайн дискуссии со студентами ряда вузов и активистами некоторых молодежных общественно-политических движений. Дискуссии были посвящены ценностям и целям молодежи, обсуждались вопросы об образовании, работе, семье, досуге, планах на будущее.

В основе используемой методики лежит широко известный в интернет-среде Живой Журнал (Livejournal)19, представляющий собой совокупность персональных онлайн дневников (журналов, блогов) пользователей и их объединений (сообществ) по интересам. Онлайн дискуссия в формате Живого Журнала представляет собой закрытое обсуждение определенной темы по заранее разработанному гайду. Участники оставляют свои комментарии на запись (пост) модератора. Модератор может уточнять ответы участников, стимулируя и разворачивая обсуждение в нужное русло, а сами участники могут комментировать не только вопросы модератора, но и ответы других участников. В зависимости от активности участников и широты тематической рамки исследования дискуссия может длиться от трех дней до недели и более. Важный принцип дискуссии подобного рода: участник может включаться в нее в удобное для себя время, не отвлекаясь от повседневных дел. В каждой дискуссии участвуют от 8 до 15 человек.

Также необходимо объяснить, почему мы используем термин «онлайн дискуссия», а не «онлайн фокус-группа», хотя речь по большому счету идет именно об адаптации этого популярного метода к сетевым реалиям. Известный специалист в области использования метода фокус-групп Т.Гринбаум в своем руководстве по проведению фокус-групп, отмечая достоинства и перспективы адаптации этого метода к использованию в Интернете, весьма убедительно показывает, что подобные обсуждения не отвечают ключевым методологическим требованиям, предъявляемым к методу фокус-групп. Именно поэтому он призывает использовать другую терминологию для обозначения нового исследовательского подхода [5, p. 98–101]. В данном случае мы полностью солидарны с позицией Гринбаума и используем нейтральный термин «онлайн дискуссия» (ОД).

В завершение вводной части мы хотим выразить благодарность Л. Паутовой за организационную помощь и моральную поддержку, И. Климову и Е. Рождественской — за важные замечания и конструктивную критику первого варианта текста, а также С. Петуховой, Ю. Брыксиной, О. Завадскому, принимавшим участие в полевых работах. Отдельная благодарность — О. Фейгиной, с которой началась практика использования ОД в ФОМе.

Особенности онлайн взаимодействия

Специфика онлайн исследований заключается прежде всего в том, что в привычную схему коммуникации «Исследователь (модератор) — респондент (информант)», помимо инструментария, включается техническое средство, обеспечивающее выход в Интернет, связь между взаимодействующими людьми. Вторым опосредующим элементом становится способ связи (платформа, используемая для контакта) (см. рисунок 1).


Рисунок 1. Схема коммуникации исследователя с информантом

Пока не углубляясь в специфику метода ОД, необходимо зафиксировать, что коммуникация, опосредованная компьютером (computer mediated communication), отличается от коммуникации лицом к лицу по двум ключевым параметрам: насыщенность медиа (media richness) и социальное присутствие (social presence). Насыщенность средства передачи информации относится к возможности медиума, проводящего коммуникацию, способствовать мгновенному взаимодействию, получению ответной реакции, общению с использованием сигналов (cues) различного характера. Социальное присутствие — это степень, в которой медиум передает непосредственность (immediacy) разговора лицом к лицу [6, p. 33].

Чем насыщеннее медиа, как, например, телеконференция, тем в большей степени они передают социальное присутствие. Насыщенные медиа позволяет участникам коммуникации обмениваться невербальной информацией, которая очень важна для передачи эмоциональной компоненты, формирования впечатлений и т.д.

Как считают исследователи вопросов, связанных с коммуникацией, опосредованной компьютером, люди стремятся максимизировать социальное присутствие в любом используемом медиуме и используют различные методы для повышения насыщенности коммуникации. Именно поэтому в компьютерной и интернет-коммуникации появляются смайлики, различные аббревиатуры, мемы и эрративы20.

ОД, проводимая в Интернете с помощью чата, форума или блога в ЖЖ, в своей основе использует ненасыщенный коммуникационный медиум. В рамках дискуссии участники могут обмениваться преимущественно текстовыми сообщениями, что приводит к модификации не только взаимодействия непосредственно во время дискуссий, но и процесса организации исследования, поиска респондентов, взаимодействия с участниками по окончании дискуссии. Подобные изменения в технической составляющей корректируют организационную и содержательную стороны процесса исследования, где-то упрощая, а где-то усложняя его.

Попытка систематизации качественных онлайн методов

Теперь, прежде чем переходить непосредственно к процедурным особенностям метода ОД, используемого нами в рамках исследования достижительных стратегий молодежи, необходимо провести хотя бы приблизительную систематизацию имеющихся качественных методов онлайн исследований, поскольку, как мы уже указывали ранее, в отечественной исследовательской практике пока еще отсутствуют и общепринятая терминология, и тем более какие-нибудь методические стандарты. Разные исследователи используют приемлемые для них технологические платформы и форматы проведения дискуссии, создавая таким образом новый «оригинальный подход», «уникальную методику». В результате мы имеем пеструю палитру методик, а на самом деле — серьезную неразбериху в используемом инструментарии, которую необходимо преодолевать с помощью тщательной методической проработки, рефлексии по поводу используемой методики, попытки вписать ее в некую систему координат21.

Рассматриваемая в данной статье методика проведения ОД в формате ЖЖ является хорошей иллюстрацией к описанному выше феномену. Однако в данной статье мы предпринимаем попытку формализовать методику, вписать ее в какие-то рамки.

В качестве базового критерия для разделения качественных онлайн методов обычно используется критерий синхронности — асин- хронности коммуникации [10, p. 637]. Иначе говоря, речь идет о величине временного разрыва между сообщениями. На одной стороне дихотомии располагается обмен сообщениями22 в реальном времени, когда разрыв между репликами минимален. Технологически для этого используются различные чаты или программы обмена мгновенными сообщениями. Другую идеальную точку представляет формат коммуникации, подразумевающий ответ через какое-то продолжительное время. В зависимости от ситуации разрыв может иметь различную длительность. Технологически здесь могут использоваться форумы, сообщества в социальных сетях, электронная почта и т.п.

Использованная методика дискуссии в формате форума относится к асинхронной коммуникации, потому что среднестатистическая дискуссия продолжалась около двух-четырех дней и участники могли включаться в обсуждение в любое удобное для них время.

Второй важный для нас критерий касается способа организации дискуссии. Здесь одну крайность представляют естественные дискуссии, происходящие на просторах Всемирной паутины в блогах, форумах и т.п. Задача исследователя в таком случае может заключаться либо в анализе уже имеющихся высказываний (что сводит подход практически к текстовому анализу23), либо к включению в образовавшуюся дискуссию с целью более подробно изучить обсуждаемую проблему и/или механизмы взаимодействия на данной площадке24. Другая позиция представляет собой четко организованную дискуссию с жестко заданными границами времени и места (интернет-площадки) проведения обсуждения.

В нашем случае мы старались придерживаться формально организованной дискуссии с четко определенным местом проведения обсуждения (специальные посты-вопросы, видимые только участникам данной конкретной дискуссии) и более-менее четкими временными рамками проведения обсуждения. При этом нужно учитывать определенный элемент условности данной формализации, учитывая специфику Интернета. Во-первых, ЖЖ представляет естественную коммуникативную площадку для интернет-пользователей (особенно если речь идет о блоггерах, а не тех интернет-пользователях, которые не пользовались блоггинговым сервисом до участия в исследовании). Кроме этого, нам удалось зафиксировать несколько побочных обсуждений проводимого проекта в блогах ЖЖ Во-вторых, временные рамки дискуссии, в идеале задаваемые модератором, на самом деле сильно зависят от участников, их включенности в обсуждение, скорости написания комментариев.

Таким образом, подводя итоги данного раздела, мы можем на следующем рисунке наглядно показать положение используемой методики в выделенных осях, соотнести с другими качественными онлайн методами.


Рисунок 2. Положение методики ОД в ЖЖ в соотнесении с другими качественными онлайн методами

Особенности онлайн дискуссии

Когда речь идет об особенностях ОД, во многих публикациях перечисляются преимущества (возможности) и недостатки (ограничения) метода, которые нужно точно осознавать в момент принятия решения о его применении. Подробно по этому поводу см., например, [10, p. 640–641; 15, p. 80–82]. При этом один и тот же аспект может выступать и как достоинство, и как недостаток метода. Например, коммуникация с помощью текста — недостаток в плане отсутствия невербальной составляющей коммуникации. С другой стороны, это достоинство, поскольку фиксация реплик происходит автоматически, т.е. отсутствует необходимость писать транскрипт, что, с одной стороны, снижает временные и финансовые затраты, а с другой стороны, снимает вопросы, связанные с полнотой и качеством подготовки транскрипта по аудио- или видеозаписи.

К основным преимуществам ОД обычно относят следующие четыре.

1. Многократное снижение временных и финансовых затрат на проведение исследования. Расходы на организацию дискуссии минимизируются (нет расходов на транспорт, аренду помещения, написание транскриптов). Вознаграждение за участие в ОД может быть существенно меньше в связи с тем, что сетевое обсуждение практически не нарушает обычного течения повседневности.

2. Высокая скорость получения первичных данных — они готовы сразу после завершения обсуждения. Эта черта является особенным преимуществом для дискуссий в форме чата или для быстрых дискуссий-форумов.

3. Стирание географических границ, что особенно важно для России. В рамках одной дискуссии можно объединить представителей разных населенных пунктов и существенно сократить объем работ.

4. Высокая вероятность доступа к труднодоступным и малочисленным группам респондентов. Представители высокодоходных групп, лица, принимающие решения, гораздо проще соглашаются принять участие в онлайновом обсуждении, чем выкраивать время для личной встречи. Кроме этого, в Интернете гораздо проще выйти на контакт с представителями узких групп через специализированные площадки для общения. Опыт проведения большого числа ОД с активистами молодежных движений служит подтверждением этого факта.

Перечисленные выше особенности ОД рассматриваются как ее очевидные преимущества. Далее речь пойдет о тех особенностях методики, которые скорее имеет смысл отнести к недостаткам или ограничениям. Их обязательно нужно учитывать на начальных этапах исследования при определении, подходит или нет данная методика для решения поставленных задач.

Таблица 1. Сравнение интернет-пользователей, пользователей блогов с городским населением страны по основным социально- демографическим параметрам (март 2009 г., данные ФОМ)

Городское население от 12 лет и старше

Месячная

интернет-аудитория

Зарегистрированные

в блогосервисе

Доли групп

100%

41%

3%

Пол

Мужчины

45%

51%

55%

Женщины

55%

49%

45%

Возраст

12–17 лет

7%

13%

15%

18–24 лет

14%

25%

31%

25–34 лет

20%

29%

32%

35–54 лет

32%

28%

21%

55 лет и старше

27%

5%

1%

Образование

Ниже среднего

14%

12%

10%

Среднее общее, ПТУ

29%

23%

25%

Среднее специальное

36%

32%

32%

Высшее

21%

34%

34%

Доход

4000 руб. и менее

18%

9%

4%

4001–7000 руб.

29%

19%

12%

Более 7000 руб.

28%

37%

49%

Нет ответа

25%

35%

35%

Род занятий

Работающий (-ая)

53%

64%

62%

Неработающий (-ая)

33%

11%

7%

Учащийся (-аяся)

12%

24%

28%

Первый и самый главный момент касается того, что среднестатистический городской интернет-пользователь достаточно сильно отличается от обычного российского горожанина. Группа интернет-пользователей отличается преобладанием в ней мужчин, людей в возрасте до 35 лет. В этой группе существенно больше, чем в целом по городскому населению, людей с высшим образованием, относительно высоким уровнем дохода. Среди людей, зарегистрированных в каком-либо блогосервисе25 выделенные отличия только усиливаются (см. таблицу 1).

Таким образом, когда мы принимаем решение о проведении ОД, необходимо отдавать себе отчет, что генеральной совокупностью в лучшем случае можно считать интернет-пользователей, но никоим образом не население страны. И хотя в практике качественных исследований обычно речь идет о не репрезентативности в традиционном смысле, а о том, что участники обсуждения отражают мнение определенной целевой группы, представляющей интерес, в случае с ОД мы изначально в качестве генеральной совокупности рассматриваем интернет-пользователей.

Однако, как мы увидели выше, эта группа сильно отличается от населения в целом. Такие люди более активно проявляют себя в различных жизненных сферах: производственной, финансово-экономической, потребительской — и, таким образом, представляют больший интерес для различных бизнес-организаций — потенциальных заказчиков социологических и маркетинговых исследований. Принимая во внимание выделенные выше четыре преимущества метода ОД в сравнении с более трудоемкими, затратными по времени и дорогими классическими фокус-группами, рост популярности этого подхода в бизнес-среде, в маркетинговых исследованиях легко объясним26.

Использование слабо насыщенного средства коммуникации, общение с помощью обмена текстовыми сообщениями достаточно сильно усложняет процесс коммуникации. Несмотря на постоянное стремление насытить общение в ходе дискуссии эмоциональной составляющей с использованием сленга, смайлов и т.п., некоторые участники исследования отмечали, что общение на серьезные темы в таких условиях дается нелегко.

«Мне просто трудно в таких условиях общаться на такие темы»27.

Следующий важный момент связан с тем, что сохранение фактической автономности участников ОД, с одной стороны, способствует большей раскрепощенности, т.к. потенциально снижается уровень воздействия людей друг на друга. С другой стороны, физическая невключенность в процедуру дискуссии приводит к более свободному отношению к ней (по сравнению с реальной фокус-группой, когда человек уже согласился, пришел и ему некуда деться), возможности параллельно заниматься своими делами, покинуть обсуждение в любой момент, вернуться или не вернуться обратно.

«Только прошу учесть, что я на работе и могу не очень оперативно отвечать».

«Завтра с новыми силами прочту все, что-нибудь скажу, а то сейчас у нас уже конец рабочего дня., моск уже не робит)». «Завтра у нас мероприятие и, возможно, послезавтра, так что не все ребята смогут в Сети быть в одно время))».

Автономность участников форумной дискуссии усиливается тем, что общение подразумевает возможность возникновения длительных временных промежутков между ответами. Так, например, ответ на вопрос, заданный вечером, можно получить утром следующего дня, а комментарий на него — ближе к обеду. Сами участники дискуссии отмечали неудобство такой ситуации, пытались определить время суток, когда собирается максимальное число участников.

Участник: «Но если 3 человека будут онлайн — это уже дискуссия.. А так я вот не знаю, есть кто на сайте параллельно или нет.<> Кто сейчас онлайн?»

Модератор: «Вижу тебя и М...ова, но ты не особенно об этом думай, пости, что постится и что думается :)».

Участник: «Но в первую очередь интересно же видеть ответы на свои посты. <> В какое время наиболее высокая активность пользователей?»

Не менее сильное влияние на форму коммуникации оказывает специфика технических средств: функционирование канала связи, интернет-сайта, программного обеспечения (программы обмена мгновенными сообщениями, интернет-браузер). Так, например, несколько участников использовали мобильный телефон для выхода в Интернет, в дискуссию, что привносит дополнительные неудобства: низкая скорость печати, маленький экран и т.п. Случайные сбои в технике могли уничтожать почти готовые записи. Редко кто из участников стремится воспроизвести утраченную запись заново.

«Писал-писал, мегакоммент настрочил, а он падло взял да потерся. Так что буду краток. Поддерживаю вышеизлагающегося))».

Серьезным препятствием для участия могут также оказаться проблемы со связью, выходом в Интернет, работой программного обеспечения. В ходе полевой работы некоторые участники, особенно представители регионов, акцентировали внимание на перебоях в работе интернет-канала и т.п.

«Я правда очень хотела поучаствовать, не подумай, что я отлыниваю. Просто у меня, видимо, что-то с модемом дома, а писать из какого-то другого места, из библиотеки/интернет-клуба... Не очень-то есть время.. Я освобождаюсь, когда они уже закрыты. Мне правда очень интересно то, чем вы занимаетесь. Может, получится на следующей дискуссии... Действительно надеюсь, что не очень тебя подвела». Участник: «У нас большая проблема с Инетом». Модератор: «В смысле?»

Участник: «В МО — очень плохой Инет и далеко не везде). Поэтому многие либо с мобильника, либо с модема, но телефонная линия — сам понимаешь... »

Кроме этого, не все участники обладают определенным уровнем навыков для того, чтобы сразу полноценно включиться в дискуссию.

Такой нюанс часто стесняет пользователя. Иногда модератору приходилось тратить время не только на объяснение правил проведения дискуссии, но ориентировать потенциального участника в пространстве ЖЖ.

Участник. «Я еще не совсем разобрался». Модератор: «Давай разбираться вместе». Участник: «Я только adsl позавчера подключил». Модератор: «Поздравляю :), это веселей, чем диалап. Ну так чего?» Участник. «Так что такое пост??? Я вижу надпись «Фонд общественного мнения» Модератор: «Отлично». Участник. «Кликать???»

Модератор: «Кликай на модератор ФОМ, там, где человечек...»

Все перечисленные моменты оказывают существенное влияние на исследовательскую процедуру. Тем не менее общая схема исследования остается вполне привычной и состоит из набора участников, проведения дискуссии, завершения дискуссии (включая общение с респондентами после окончания дискуссии).

Набор участников

Рекрутирование в Интернете характеризуется тремя сложностями, которые в обычной ситуации проявляются в гораздо меньшей степени. Во-первых, мы не можем быть до конца уверены, что наше приглашение дойдет до адреса: различные спам-фильтры, блокирующие сообщения от неизвестных получателей, сбои в работе систем и т.п. Кроме того, даже если потенциальный участник получит приглашение, очень велика вероятность несерьезного к нему отношению из-за множества рекламной информации, постоянно рассылаемой по почте или через программы обмена мгновенными сообщениями. Во-вторых, исследователь не всегда может проверить, насколько информация о человеке, имеющаяся в открытом доступе в Сети, соответствует истине. В-третьих, не все пользователи предоставляют в открытом доступе те характеристики, которые могут представлять интерес для рекрутера (пол, возраст, учебное заведение и т.п.).

В данном исследовании было только два жестких условия набора участников (которые тем не менее были несколько раз нарушены): возраст — представители молодежи до 25 лет; принадлежность к молодежному движению или обучение в вузе (был конкретный список вузов и движений).

Исходная схема поиска респондента выглядела следующим образом: в ЖЖ отбирались пользователи, указавшие свою принадлежность к нужному нам вузу или отметившие название движения среди информации о себе, своих интересах. Этим ЖЖ-пользователям отправлялось приглашение по почте или через программу обмена мгновенными сообщениями. Надо отметить, что в рассматриваемом исследовании рекрутментом занимались сами модераторы. Это было сделано для того, чтобы модератор мог в предварительном общении до дискуссии выяснить, действительно ли респондент соответствует требуемым параметрам, а также чтобы модератор имел возможность контактировать с участниками не только на дискуссионной площадке, но и с помощью альтернативных средств связи. Это дает возможность модератору хотя бы как-то контролировать включенность дискутантов в обсуждение, в случае отсутствия должной активности стимулировать участников к обсуждению.

Сложности с рекрутированием возникли практически сразу. Скорость отклика потенциальных дискутантов была невысока. Некоторые участники, дав первоначальное согласие, затем исчезали. Кроме того, начали возникать проблемы с базой потенциальных респондентов. Представителей некоторых вузов и движений в ЖЖ оказалось не так много. У многих возможных участников отсутствовали контакты, по которым с ними можно установить связь (электронная почта, номер программы обмена мгновенными сообщениями). Поэтому, помимо личных приглашений пользователям ЖЖ с соответствующими интересами или необходимыми характеристиками через электронную почту, программу обмена мгновенными сообщениями, были использованы следующие способы приглашения на дискуссию:

1. Объявление в рабочем ЖЖ (//moderator-fom.livejournal.com) о наборе участников на дискуссию.

2. Личные приглашения на дискуссию участников массового опроса, оставивших свои координаты (электронный адрес или ICQ).

3. Общие приглашения на дискуссию в тематических ЖЖ-сообществах.

4. «Снежный ком» — обращение к друзьям и знакомым по рекомендации уже согласившегося участника.

5. Обращение к лидерам (например, руководителям движений, модераторам сообществ) с просьбой о помощи в наборе участников для дискуссии.

6. Объявления в вузах на информационных стендах.

7. Личные контакты сотрудников ФОМа.

В сложившейся ситуации не всегда можно было четко проконтролировать действительное соответствие участников необходимым параметрам. Так, например, лидер молодежного движения (чаще всего старше 25 лет) может пригласить участников движения старшего возраста и участвовать сам. Через метод снежного кома на группу также могут попадать бывшие студенты/участники движений и т.п. Можно выделить несколько причин, повлиявших на процесс набора участников:

— Вероятно, многие интернет-пользователи, которым делалась рассылка с приглашением участвовать в дискуссии, относились к нему как к спаму, рекламе.

— В процессе поиска по интересам в различных ЖЖ-сообществах часто попадались люди, интересующиеся какой-то проблемой, например молодежной политикой, но не имеющие нужной институциональной привязки.

— Многие потенциальные участники отказывались участвовать, ссылаясь на занятость, нагрузки в учебе или в деятельности движения или отсутствие интереса к такого рода занятиям. Для активистов молодежных движений также характерно желание передать наше приглашение более компетентным людям, в пресс-службу, информационный или пиар-отдел, тем самым избавившись от необходимости участвовать в непонятной процедуре.

— Еще одной возможной причиной отказа некоторые интернет- пользователи считают неясность предложения. Не всем понятно как, что и для чего будет происходить.

— Очень интересна причина отказа от участия представителей ряда оппозиционных молодежных движений. Многие потенциальные респонденты высказывали опасения, что сотрудниками ФОМа на самом деле представляются агенты спецслужб или ФОМ проводит исследование по заказу спецслужб28.

Проведение онлайн дискуссии

Ключевой этап исследования — это непосредственное проведение, модерирование дискуссии. Стоит отметить, что некоторые исследователи прямо отмечают, что проведение онлайн дискуссий — это настоящий вызов модератору. В ситуации, когда сразу несколько человек пишут свои комментарии по какой-то теме, модератор должен очень оперативно реагировать на происходящее, задавать уточняющие вопросы, быть очень внимательным для того, чтобы не упустить какого-то важного замечания, суждения и т.п. Некоторые даже советуют работать в паре — модератор и ассистент, чтобы облегчить работу [15, p. 82]. Такие сложности особенно характерны для синхронных ОД. Однако это не значит, что в асинхронных дискуссиях подобных сложностей не может возникнуть. Так, например, в рамках нашего проекта вечерами, когда большинство участников собирались на дискуссионной площадке, обсуждение в блоге мало чем отличалось от чата. С другой стороны, в асинхронных дискуссиях присутствует и другая сторона медали — длительные периоды затишья, когда участники или совсем не пишут, или пишут мало. Тем не менее модератор все равно должен постоянно следить за происходящим, быть начеку, чтобы включиться во вдруг оживившееся обсуждение, пока оно вновь не стихло. Таким образом, во время полевых работ модераторам приходилось находиться около компьютера практически круглые сутки, во время активной стадии дискуссии занимаясь только модерированием, а в периоды затишья — наблюдать за дискуссией и рекрутировать участников для следующей ОД.

Достаточно большой период времени, отводимый на дискуссию, приводит к тому, что участники включаются в нее в разное время. При этом запоздалое включение некоторых участников в дискуссию нельзя считать аномальным. Но это меняет привычный линейный ход дискуссии. Участник может включиться в обсуждение какой-то темы в тот момент, когда остальные дискутанты уже перешли к другим вопросам. Кроме того, протяженность во времени также создает благоприятные условия для преждевременного выхода из дискуссии, если интерес респондента пропадает или у него меняется жизненная ситуация таким образом, что он далее не может участвовать. Также в данных условиях крайне важную роль начинает играть интерес респондентов к различным темам дискуссий, ответственность и память. В условиях отсутствия жестких временных ограничений участник может просто забыть про дискуссию, если у него появятся какие-то очень важные дела.

Помимо всего этого существенная временная продолжительность ОД отражается и на типе получаемой информации. Респондент оказывается одновременно в двух ролях: участника и внешнего наблюдателя. Встать на позицию внешнего наблюдателя в ОД гораздо легче, чем при реальной дискуссии. Включаясь в дискуссию периодически, участник имеет возможность прочитать уже состоявшееся обсуждение, что дает ему возможность увидеть со стороны и оценить разные позиции, линии аргументации. Последние не всегда осознаются при единовременной включенности в обсуждение, когда участники взаимодействуют от высказывания к высказыванию и отвечают спонтанно. Когда респондент подключается позже, то он может реагировать разными способами. Во-первых, он может обдумать высказанные точки зрения, в том числе и ту, которая у него была ранее, и изменить свое мнение; во-вторых, увидев общий настрой участников, он может побояться высказать свое собственное мнение и выдать конформистское мнение; в-третьих, возможно высказывание критического замечания к уже существующим позициям, что может привести к возобновлению дискуссии в подтеме после того, как участники уже подключились к другой.

Таким образом, возникает феномен, который мы называем содержательной дискретностью ОД. Дискуссия в формате ЖЖ (или форума) подразумевает сохранение предыдущих, ранее обсуждавшихся постов (тем). С учетом того, что обычно дискуссия состоит из 10–15 постов (включая формальные посты-приветствия, означающие начало обсуждения и заключительные посты, информирующие о том, что дискуссия завершается), во второй половине дискуссия представляет собой определенное количество постов, в которых обсуждение с разной степенью интенсивности может вестись параллельно. Участник дискуссии, особенно включившийся в обсуждение с опозданием, может сразу высказаться по нескольким темам. Таким образом, временная последовательность ответов на вопросы не соотносится с последовательностью обсуждаемых тем (т.е. с линейной логикой гайда). Именно здесь и возникает содержательная дискретность ОД.

На степень раскрытия темы большое влияние оказывает интерес к ней. В случае заинтересованности участники отвечают гораздо более развернуто, в большей степени склонны к коммуникации с другими участниками. В таком случае модератору гораздо сложнее контролировать группу и ее отклонения от сути дискуссии, однако здесь возникает необходимая групповая динамика, и исследователь имеет возможность получить больший спектр информации.

Когда тема не представляет интереса или оказывается слишком сложной для обсуждения такого формата, дискуссия может превратиться в набор диалогичных линий, реплик модератора и каждого участника и фактически сводится к групповому интервью. Так, например, в ходе рассматриваемого исследования вопросы о жизненных целях приводили некоторых участников в замешательство, поскольку ранее им не приходилось серьезно задумываться по этому поводу.

Еще одной важной отличительной чертой ОД является проблема включенности участников дискуссии (включая модератора) в несколько параллельных коммуникативных пространств, начиная от общения в Интернете за рамками ОД, заканчивая повседневными взаимодействиями лицом к лицу. Актуальное наличие этих пространств может оказывать влияние на конкретного респондента и соответственно на саму дискуссию несколькими способами. Во-первых, это может отвлекать респондента от дискуссии и приводить к потере какой-то части информации. Во-вторых, респондент может в параллельном режиме начать обсуждать с кем-то вопросы, которые ставятся на дискуссии, и потом привнести часть информации из параллельного пространства в дискуссию. В-третьих, сам модератор может параллельно общаться с респондентами. Причем информация, получаемая вне групповой дискуссии, может вступать в противоречие с информацией, получаемой от того же самого респондента в рамках дискуссии. Это особенно характерно для ОД, в которых нет анонимности участников, а обсуждаемые вопросы являются сенситивными. В частности, такая ситуация наблюдалась в группах с представителями молодежных движений (набирались гомогенные группы), в которых обсуждались различные вопросы, связанные с их организацией. Таким образом, роль параллельных пространств крайне неоднозначна.

Все вышеперечисленные особенности трансформируют привычные для фокус-групп в режиме лицом к лицу представления о групповой динамике и роли модератора. Учитывая, что в ОД участники обладают большей свободой действий, чем в реальной группе, а контроль модератора над процессом гораздо слабее, особую роль начинают играть лидеры мнений внутри группы. При этом основная задача модератора заключается в том, чтобы корректировать поведение таких респондентов, чтобы они способствовали обсуждению тем, важных для исследования, а не переключали внимание участников на отвлеченные темы.

Завершение дискуссии

После того как все значимые для исследования темы обсуждены, ОД вступает в стадию завершения. Этот этап начинается с того момента, как модератор выкладывает заключительный пост о том, что тем для обсуждения больше нет и дискуссия подходит к концу. Однако с момента публикации этого поста до окончательного завершения дискуссии проходит еще какое-то время, обычно около суток, чтобы все участники имели возможность добавить то, что, по их мнению, было упущено и т.п. По истечении этого периода все дискуссионные посты переводятся в разряд архивных и становятся видны только модератору. Каждому посту дискуссии присваивается метка (tag), характерная только для данной ОД. Затем по этой метке отбираются все посты дискуссии по порядку, и получается почти готовый транскрипт, который быстро переносится из площадки ЖЖ в текстовый редактор. На этом формально ОД можно считать завершенной. Однако не все так просто.

Из-за того, что модераторы принимают участие в рекрутменте, у них остается связь с участниками дискуссий после ее завершения. Так возникает возможность для постдискуссионой коммуникации. С течением времени у постоянно практикующего модератора образуется большое количество профессиональных контактов. Здесь возникает отдельный вопрос о формировании карьеры исследователя и о том, как именно должен вести себя модератор со своими рабочими контактами.

Формированию постдискуссионной составляющей в данном случае способствует сама площадка на открытой платформе, подразумевающей наличие длительных взаимоотношений между людьми, ведущими блог. Подавляющее большинство участников ведут свои блоги не только для участия в дискуссиях. Поэтому они следят за происходящим в дискуссионном журнале, периодически заявляя о своем желании принять участие в очередном обсуждении.

***

Подводя итоги, стоит отметить, что для нас данный текст представляет прежде всего попытку отрефлексировать и систематизировать личный опыт полевой работы. Даже сейчас у нас осталось немало вопросов к использованной методике, а следовательно, к самим себе. Тем не менее полученные в ходе рассмотренных дискуссий содержательные результаты29 свидетельствуют о том, что подобные подходы вполне могут быть использованы для сбора социологических данных. И все же дальнейшая экспериментальная и теоретическая проработка вопросов, связанных с использованием качественных методов в Интернете, просто необходима. Перспективы данного подхода в прикладных исследованиях очевидны. Однако для того, чтобы онлайн методы стали социологическим мейнстримом в России, необходима долгая работа. Эта работа связана не только с улучшением используемых методик. Не меньшую важность здесь имеет социальная проблема нарастающего информационного неравенства и необходимости развития информационного общества в России.

Литература

1. Докторов Б.З. Онлайновые опросы: обыденность наступившего столетия // Телескоп: наблюдения за повседневной жизнью петербуржцев, 2000, №4.

2. Лагун Л. Онлайн фокус-группы как новый метод исследований в сети Интернет // Маркетинг и маркетинговые исследования, 2001, №2.

3. Лагун Л. Онлайновые фокус-группы // Интернет-маркетинг, 2002, №2.

4. Шашкин Л. Фокус-группы онлайн! Новые технологии маркетинговых исследований // Рекламодатель, 2006, №6. [Электронный документ]. //www.reklamodatel.ru/?id=831

5. Greeenbaum T.L The handbook for focus group research / Sage, 1998.

6. Schneider S.J, Kerwin J, Frechtling J, Vivari B.A. Characteristics of the discussion in online and face-to-face focus groups // Social science computer review. Vol. 20, No. 1, p. 31–42.

7. Гусейнов Г. Берлога веблога Введение в эрратическую семантику // «Говорим по-русски», март 2005. [Электронный документ] http//www.speakrus.m/gg/micrcprosa_erratica-1.htm

8. Гусейнов Г. Заметки к антропологии русского Интернета: особенности языка и литературы сетевых людей // НЛО, №43, 2000. [Электронный документ] //maga- zines.russ.ru/nlo/2000/43/main8.html

9. Couper M. P. Web surveys: a review ofissues and approaches // The public opinion quarterly. Vol. 64, No. 4, p. 464–494.

10. Bryman A. E-research: using the Internet as object and method of data collection // Bryman A. Social research methods / 3rd ed. Oxford University Press, 2008, p. 627–659.

11. Hughes J, Lang K.R Issues in online focus groups: lessons learned from an empirical study of peer-to-peer filesharing system users // Electronic journal of business research methods. Vol. 2, No 2, 2004, p. 95–110.

12. Шурыгина И.И. Интернет — пространство свободы выбора // Онлайн исследования в России: тенденции и перспективы / Под редакцией Шашкина А.В. и Поздняковой М.Е. — М., Изд-во Института социологии РАН, 2006, с. 129–139.

13. Garcia A.C., Standlee АЛ, Bechkoff J, Cui Y. Ethnographic approaches to the Internet and computer-mediated communication // Journal of Contemporary Ethnography. Vol. 38, No. 1, p. 52–84.

14. Левинсон А. Открытые групповые дискуссии как метод прикладных социологических исследований // Вестник общественного мнения. №6, 2007. [Электронный документ] //www.polit.ru/research/2008/02/20/ogd.html

15. Grossnickle J, Raskin O. The handbook of online marketing research / McGraw-Hill, New York, NY, 2000.

16. Van Nuys D. Online focus groups save time, money // Silicon Valley / San Jose Business Journal, 1999. [Электронный документ] //www.sanjose.bcentral.com/sanjose/stories/1999/11.29/smallb4.html

17. Лебедев П. Вместе веселее, или Один в поле не воин. Очерк о молодежном общественно-политическом активизме // Социальная реальность, №5–6. 2008, с. 41–69, 64–71.

18. Лебедев П. Категория успеха в представлении активистов молодежных движений. // Трансформации «политического» и социальные институты в современной России. Сборник статей аспирантов факультетов прикладной политологии и социологии ГУ- ВШЭ. Отв. ред. МЮ.Урнов, Л.В.Поляков, Г.В.Иванченко. М., 2008, с. 158–171.

19. Лебедев П.А., Паутова Л.А. Ресурсы и средства достижения цели: на примере активистов молодежных движений // Вестник Омского университета. Серия «Социология», №1/2, 2008, с. 4–16.

20. Шилова Л..С. Образ успеха и жизненные стратегии молодежи // Вестник Омского университета. Серия «Социология», №1/2, 2008, с. 24–36.


1 Разумеется, речь идет о совокупностях с практически полным доступом к телефонной связи.

2 Такие совпадения, конечно, случаются, как случаются и сбывшиеся предсказания при гадании по внутренностям животных или точные прогнозы погоды на сезон.

3 Существование многочисленных и впечатляющих экспериментальных исследований в социальной психологии, а также вклад, внесенный в методологию экспериментирования в социальных науках Д. Кэмпбеллом и его учениками и последователями, позволяют надеяться на то, что нынешнее положение дел в социологии еще может измениться к лучшему.

4 То есть выборки, привязанной к некоторой социальной группе, образованной сетью прямых и опосредованных диадических взаимодействий. Ранний пример использования сетевой выборки в социологии — [6]. Обоснование методов оценки выборочного смещения для выборок типа «снежного кома» было впервые представлено в: [7].

5 Здесь и далее мы употребляем словосочетание «социальные сети» в расширительном и нетерминологическом смысле слова, получившем распространение в публичном дискурсе.

6 Создатели и администраторы социальных сетей нередко заинтересованы в развитии социологических и маркетинговых исследований на их основе, рассчитывая использовать полученную информацию для планирования целевой рекламы [см., например, 11].

7 Существуют и светлые стороны быстрого клонирования агентств и институций, пытающихся играть роль «Больших Братьев» в сети: переизбыток «информации о персональной информации» в конечном счете служит надежной защитой от перспективы тотального надзора, маскируя значимые сигналы в изобилии случайных данных.

8 Данные исследования «ГфК-Русь Омнибус», всероссийский массовый опрос населения в возрасте от 16 лет и старше, n=2204, полевые работы прошли 18 ноября — 1 декабря 2008 года.

9 ООО «Интерэктив сервисез» — российская компания, предоставляющая полный спектр интерактивных услуг: SMS-сервисы, голосовые меню (IVR) и услуги call-центра для решения маркетинговых, сервисных, исследовательских и прочих задач. Основана в 2003 году. Дополнительная информация доступна на сайте: www.ias.su

10 ООО «ГфК-Русь» — институт маркетинговых и социальных исследований, основанный в России в 1991 году и входящий в международную исследовательскую организацию GfK Group. Дополнительная информация доступна на сайте: www.gfk.ru

11 Перевод статьи выполнен Мавлетовой А.М., Online Market Intelligence (OMI).

12 Слайдер — это шкальный вопрос, где респондент имеет возможность перемещать по шкале «бегунок» при помощи мыши, тем самым выбирая то положение на шкале, которое наилучшим образом отражает его мнение.

13 При этом мы не выделяем отдельно неответ как тотальный отказ от участия в опросе, т.к. в данном случае было бы очень трудно установить его причину (скажем, связана ли она с техническими сложностями, со случайными факторами и т.д.).

14 Впрочем, это также, на наш взгляд, верно и в отношении возможных экспериментальных планов по изучению инструментария оффлайновых опросов, однако этот вопрос остается за рамками рассмотрения в данной работе.

15 Уровень удовлетворенности респондентов онлайн опроса

16 Как показал анализ публикаций на тему онлайн исследований, в западном социологическом дискурсе первый значимый всплеск интереса к проблематике онлайн исследований приходится как раз на конец 90-х — начало 00-х.

17 В качестве примера можно привести первый сборник «Онлайн исследования в России». Хотя при этом в трех главных социологических журналах страны («Социологический журнал», «Социологические исследования», «Социология 4М») на период до мая 2009 года не было ни одной публикации, проблематизирующей практику применения онлайн методов. При этом история одного из самых популярных интернет-исследований «Онлайн монитор», проводимого компанией MASMI, насчитывает уже около 8 лет.

18 Проект поддержан Фондом подготовки кадрового резерва «Государственный клуб» в соответствии с распоряжением Президента РФ № 367-РП от 30 июня 2007 года о государственной поддержке некоммерческих неправительственных организаций, участвующих в развитии гражданского общества.

19 Дискуссии проходили в рамках журнала «Модератор-ФОМ» //moderator-fom.livejournal.com

20 Хорошей иллюстрацией данного феномена может служить так называемый жаргон подонков («Жаргон падонкафф», «Олбанский язык») — распространившийся в российском Интернете стиль употребления русского языка с нарочно неправильным написанием слов, употреблением определенного сленга и т.п. Подробнее об этом см., например, [7; 8].

21 Интересно, что о сходной проблеме в 2000 году писал М. Купер, пытаясь систематизировать разнообразные технологии проведения интернет-опросов. В конце девяностых исследователь предсказывал, что широкое распространение методов сбора данных в Интернете приведет к разделению всех интернет-исследований на два поля — высококачественных исследований, использующих стандарты классических опросов, и низкокачественных исследований, ставящих во главу угла низкую стоимость и высокую скорость получения данных. Прогноз не оправдался, и М. Купер констатирует, что произошла фрагментация исследовательского поля, в котором образовалось множество отличающихся друг от друга подходов, не относящихся к одной или другой крайности, а находящихся где-то в промежутке. Исследователи стремились занять свою нишу для каждого конкретного подхода или продукта [9, p. 466].

22 Весьма распространена методика онлайн дискуссий в формате чата. Именно ее имеют в виду, когда говорят об онлайн фокус-группе. Интересный анализ метода представлен, например, [11].

23 Примером исследования свободных форумных обсуждений является, например, анализ мнений о допустимости употребления легких наркотиков, проведенный И. Шурыгиной [12].

24 Здесь мы, с одной стороны, вступаем в зону этнографических исследований в Интернете (по этой теме см. [13].) С другой стороны, спонтанные обсуждения в естественных условиях для информантов очень похожи на метод открытых групповых дискуссий, о котором пишет А. Левинсон [14].

25 Конечно, пользователи ЖЖ и пользователи блогов вообще — это разные совокупности, которые могут отличаться между собой, в том числе и по социально-демографическому профилю. Однако в данном случае нам важно зафиксировать специфику блоггеров как группы, а не описать точные параметры пользователей ЖЖ.

26 В этой связи весьма показательна публикация Д. Ван Нюйса, которая называется «Онлайн фокус-группы экономят время и деньги» [16].

27 Здесь и далее будут приводиться цитаты, иллюстрирующие те или иные значимые моменты в процессе проведения полевых работ. Практически все цитаты взяты из разговоров с участниками не в рамках непосредственно дискуссии, а в параллельном общении с помощью электронной почты, программы обмена мгновенными сообщениями и т.п.

28 Весьма показательным в данном случае является следующее сообщение в ЖЖ участника одного из молодежных движений. См. //a-vistababy.livejournal.com/50842.html.

29 С некоторыми содержательными результатами исследования, полученными в ходе данного проекта и прежде всего метода ОД, можно познакомиться здесь [17; 18; 19; 20].


© 1998-2023 Дмитрий Рябых