Энциклопедия маркетинга

Данные рассказывают нам историю, но это не означает, что она правдива.

Звучное словосочетание «голые факты» вводит в заблуждение. Очень часто данные фальсифицируют по целому ряду причин. Знание, как можно подтасовать их, и умение отличить даже хорошо сфабрикованную информацию от правдивой критически необходимо, если вы стремитесь, опираясь на данные, выигрывать любые обсуждения. А если вы пытаетесь менять привычный уклад вещей, то споры и дискуссии будут возникать постоянно.

Вам важно знать способы, как можно исказить данные, потому что в будущем практически наверняка кто-то попытается ввести вас в заблуждение якобы научной информацией.

Как можно подтасовать данные вашей компании

Самый очевидный способ слегка «подкорректировать» статистику вашей компании заключается в том, что кто-то выбирает выгодные ему показатели для измерения, зная, что вы не можете посчитать все. Поскольку в отчеты попадают только эти данные, а управлять можно только на основании цифр, попавших в отчеты, эта, казалось бы, очевидная проблема имеет серьезные последствия. Например, сказывается на том, как распределяется бюджет компании.

Некоторые данные игнорируются по причине сложности их измерения. Например, насколько люди счастливы, вычислить сложнее, чем сколько денег они тратят. Поэтому измерить уровень счастья невозможно так же эффективно, как оценить уровень финансового благосостояния респондентов. (Принято считать, что чем богаче человек, тем он счастливее. Это не так. Согласно результатам исследований, после достижения человеком уровня дохода $70 000 с дальнейшим повышением показателя дохода уровень его удовлетворенности качеством жизни не меняется.)

Некоторые неизмеряемые данные остаются без внимания, потому что их слишком сложно интегрировать в общую картину. Где-то в каком-то виде они присутствуют, но собрать их вместе почти невозможно. Суммировать финансовые показатели часто бывает сложно, потому что их собирают из множества отчетов. Анализ рисков проводить сложно, потому что риски постоянно меняются, могут произойти чрезвычайные события с непредсказуемыми последствиями, риски взаимосвязаны, а мы не в состоянии предсказать все действия каждого человека.

Еще одна возможность для фальсификации данных - раздельное их хранение. Самым ярким примером этого может послужить банкротство в 2002 году компании WorldCom (Один из крупнейших игроков рынка доткомов, рухнувшего в 2000 году.), годовой доход которой составлял $30 млрд. Компания фальсифицировала скорее не данные, а отчетность. Впоследствии аудиторы выяснили, что цифры в балансовом отчете были завышены на $75 млрд, а доходность компании - на $11 млрд. Как такое вообще стало возможно? Основная причина заключалась в том, что в компании применялось несколько разных систем бухгалтерского учета, между которыми не было обмена данными. Двойной учет был обычным делом.

Проблема часто состоит в том, что люди считают, будто владеют какими-то данными, и не хотят делиться информацией. Даже если ваша компания, к счастью, непохожа на WorldCom, ваши аргументы могут оказаться не вполне убедительными, так как вы не видите всю картину целиком.

Как другие подтасовывают данные

Люди склонны искажать факты (иногда нарочно, иногда непреднамеренно) и оперировать неверными заключениями. В одних случаях это проявление некомпетентности, в других -злого умысла. Вот три способа подтасовать данные.

• Выборочное использование доказательств. В 2013 году исследователь Стэнфордского университета Джон Иоаннидис наугад выбрал 50 продуктов из кулинарной книги и обнаружил, что для 80% из них есть хотя бы одна научная работа, доказывающая, что они вызывают рак, и одна - доказывающая, что они служат средством профилактики рака. Однако продавец будет ссылаться на информацию, отражающую только одну сторону.
• Неверные причинно-следственные отношения. Результаты одного из нашумевших исследований свидетельствовали о том, что курение повышает вероятность самоубийства. Ужасно! Через несколько лет результаты этого исследования были оспорены, когда исследователи доказали, что курильщики также в два раза чаще погибают насильственной смертью. Подсказка: причину и следствие поменяли местами. У людей, испытывающих депрессию, стресс, постоянно подвергающихся опасности, гораздо выше вероятность того, что они начнут курить.
• Неправильный выбор временных рамок. Начало и завершение периода, за который делается отчет, имеет значение. Если вам говорят, что темпы роста составили 5% с 2007 года, поинтересуйтесь, какими они были в 2006 или 2004 году. Очень часто статистические данные выглядят радужно, потому что выбраны годы с лучшими показателями. Происходит ли глобальное потепление в последние годы? Кривая графика будет зависеть от того, что вы подразумеваете под словами «в последние годы».

Что делать с искаженными данными? Главный урок - со всем возможным скептицизмом относиться к людям, которые сообщают вам информацию и хотят, чтобы вы приняли ее за чистую монету. Существует взаимосвязь между так называемыми вуду-опросами (то есть данными, которые появляются в федеральных изданиях и о которых моментально забывают), и тем, кто за это платит и что при этом происходит в реальности.

Второй урок - следует с крайней подозрительностью воспринимать единичную информацию. Сенсационные результаты привлекают больше внимания, но это не свидетельствует об их истинности. Если взаимосвязь между данными возникает снова и снова, это показатель ее достоверности. Если мы получили совсем другие результаты при повторе эксперимента, возникают вопросы к методу проведения исследования. цифры не врут, но когда их пытаются подтасовать, они искажают действительность.

Из чего сделана колбаса

Результаты исследований всегда в той или иной степени пристрастны. Главное - не слишком доверять некачественным доказательствам.

Вот интересный график, с помощью которого компания C Space пытается убедить нас в полезности своих услуг:

И вот мы уже думаем, что это впечатляющий результат и что разница между серой и черной линиями отражает ту ценность, которую создает компания C Space. При этом объяснение самой компании гораздо сдержаннее: «сотрудничайте со своими клиентами» - вот что определяет разницу, а не собственно компания C Space. Но даже эта формулировка весьма сомнительна.

При использовании статистики для сравнения двух выборок или чтобы получить информацию о целостной группе (например, по всем своим клиентам) на основании одной выборки (по данным от тех клиентов, кто согласился принять участие в вашем опросе), самое важное - понимать, что вы сравниваете подобное с подобным.

Если у вас есть данные опроса 200 клиентов, насколько репрезентативной можно считать вашу выборку? Эта проблема часто поднимается после политических выборов, когда заявляют, что прогнозы, которые делались на основании опросов общественного мнения и публиковались в прессе накануне выборов, были неточными. Очень сложно найти 1000 взрослых, мнение которых полностью отражало бы мнение всего электората. Эти респонденты должны быть из разных частей страны, у них должен быть такой же уровень квалификации, дохода, личных предпочтений, как у населения страны в целом. При этом могут возникнуть самые разные проблемы, о которых речь пойдет ниже.

• Нередко опросы проводятся в интернете. Люди с невысоким достатком и пожилые пользуются интернетом реже, поэтому в выборке будет присутствовать больше молодых и относительно состоятельных людей.
• Участие в опросах, как правило, добровольное. В этом случае в выборку попадают более инициативные люди с активной жизненной позицией.
• Иногда вам говорят то, что вы хотите услышать, а затем делают совершенно другое.
• Иногда люди участвуют в опросах ради получения подарка или бонуса. Тогда их волнуют не столько вопросы, на которые им предлагают ответить, сколько подарок по окончании опроса.

Давайте вернемся к графику. Что с ним не так? Сложно делать выводы, если только речь не идет об одних и тех же компаниях и в той и в другой выборке. Не вызывает сомнения только факт, что они сотрудничают с C Space. Это может быть частью истории, но право на существование имеют и альтернативные версии, которые могут оказаться правдой (или нет).

• Показатели компаний, получающих большую прибыль, лучше показателей по рынку в целом. Эти организации в состоянии выделить больше средств на привлечение внешних консультантов, поэтому более прибыльные компании в среднем могут оказаться в индексе C Space.
• Возможно, C Space специально отбирает более успешные компании для сотрудничества, потому что они быстрее оплачивают счета за услуги.
• Может быть, с C Space сотрудничают компании из определенной отрасли и именно эта область сейчас больше всего интересует инвесторов.

Не менее важно применять этот подход и при анализе собственных данных. Специалисты по маркетингу часто рассылают опросы по электронной почте: «Пожалуйста, выскажите свое мнение...» Такие компании, как Survey Monkey*, очень быстро делают красивые исследования, и, возможно, вы даже получаете по два-три еженедельно. Представим, что вы проводите опрос по электронной почте среди руководителей бизнеса, которых тщательно отобрали из вашего списка рассылки, что они думают о вашей компании и готовы ли потратить больше на ваши продукты в будущем. Получив ответы, вы узнаете, что 72% респондентов считают, что вы великолепно справляетесь с работой, и 67% опрошенных готовы потратить больше на ваши продукты в будущем.

Проанализируем эти результаты с позиции логики и здравого смысла.

• Сколько успешных руководителей бизнеса из тех, кого вы знаете, располагают временем отвечать на электронные опросы? Более вероятно, что вы получили ответы от большого числа не слишком эффективных руководителей или же тех, которые поручили помощнику отвечать на несрочные письма.
• Представьте, что большинство руководителей не вполне довольны качеством ваших услуг или даже не могут толком вспомнить вашу компанию. Они просто проигнорируют опрос, хотя для вас это была бы важная информация.
• Не упоминали ли вы (пусть даже мимоходом), что за положительный отзыв вы готовы предоставить скидку или расширить спектр предлагаемых услуг? Тогда вы получили больше всего ответов от тех, кто надеется заработать скидку и, скорее всего, сказал вам то, что вы надеялись услышать.

Так что не делайте крупных ставок на информацию такого рода. Хотя она может послужить как рекомендация при необходимости сузить выбор или как стимул к проведению более тщательного исследования. Дешевая колбаса очень похожа на элитную, а графики и диаграммы, построенные на основании искаженных данных, выглядят не менее убедительно, чем те, которые были построены на основании достоверной информации. Но с графиками, как и с колбасой, важно то, из чего они сделаны, а не то, как они выглядят.

Корреляция не гарантирует причинно-следственную связь

Обычно данные не отвечают на вопрос «почему?», а только на вопрос «что?».

Возможно, вам доводилось слышать это утверждение ранее, но вы не вполне понимаете его смысл. Тогда скажем иначе: если кто-то утверждает, что нет дыма без огня, он ошибается.

Корреляция между двумя явлениями означает, что, если мы стали чаще видеть одно из них, мы также отмечаем изменение частоты, с которой встречаем второе. Причинноследственные отношения гораздо сильнее. При этом, если мы отмечаем одновременное изменение двух количественных показателей и предполагаем, что один из них стал причиной второго, это предположение вполне может оказаться ошибочным.

Следующие три примера иллюстрируют корреляцию: ваш индекс массы тела и вероятность инфаркта; количество сообщений в твиттере о телевизионной программе и число зрителей этой программы; потребление сыра на душу населения и число смертельных случаев, когда люди умирают, запутавшись в простынях в собственной кровати. Какие из этих отношений также относятся к числу причинно-следственных? Для нас чрезвычайно важно это знать, так как процесс принятия решений - это давление на воображаемые рычаги. Нажимая на них, мы должны знать, что случится в итоге. При этом мы часто получаем чудовищные советы от людей, которые путают причинно-следственные отношения и корреляцию.

Давайте разберемся с каждым из приведенных примеров в обратном порядке. Последний пример сначала кажется полным абсурдом. Это одна из корреляций, созданных Тайлером Вигеном на его весьма забавном сайте Spurious Correlations («Ложные взаимосвязи»), где еще много подобных примеров сочетания вещей, которые, кажется, не имеют между собой ничего общего. Это результат доступности данных в современном обществе. Мы измеряем тысячи трендов, и вдруг оказывается, что у явлений, никак между собой не связанных, в точности совпадает динамика изменений. Этого можно избежать, если выдвинуть гипотезу, которую вы хотите протестировать, прежде чем изучать корреляции. Об этом речь в книге пойдет далее.

Ложные корреляции - это то, что получается, когда вы просто собираете большой массив данных и начинаете копаться в них в поисках взаимосвязей. Вы обнаружите несколько важных причинно-следственных отношений и целый ряд бессмысленных взаимосвязей. Компании постоянно отвлекаются на этот процесс. Конечно, в приведенном примере вы вряд ли поверили, что между этим двумя явлениями может быть причинно-следственная связь, но как быть в других ситуациях, когда наличие подобной связи кажется вполне возможным?

Статистика по сообщениям в твиттере и числу зрителей телевизионного шоу - более сложный случай. Между этими показателями может быть причинно-следственная связь, но при этом возможны три сценария.

• Эффект социального воздействия: когда пользователи пишут о телевизионном шоу в твиттер, это стимулирует других смотреть передачу.
• Сплетни о ТВ: когда зрители смотрят телешоу, им хочется написать об этом в твиттер.
• Высокое качество: у интересных телевизионных шоу большая зрительская аудитория, и они вызывают оживленное обсуждение.

Все это действительно важно, если вы работаете в телевизионной компании. Как вы используете социальные медиа? Велико искушение поверить в первый сценарий, инвестировать в то, чтобы побудить пользователей писать сообщения в твиттер, и ждать, что ваша аудитория вырастет. Многие компании примерно так же обосновывали выделение бюджета на продвижение в социальных сетях и обнаружили, что, когда они искусственно стимулировали количество сообщений в социальных сетях, ничего не происходило. Может быть, дело в том, что причинно-следственная связь здесь обратная: люди пишут сообщения о том, что они делают. В этом случае социальные медиа по-прежнему остаются полезным инструментом, но только для неформального аудита того, что собираются делать ваши потребители.

Третий сценарий также выглядит вполне достоверным. Он означает, что оптимальный способ потратить деньги -это вложить их не в социальные медиа, а в создание более качественного сценария и приглашение хороших актеров.

Между этими тремя сценариями может существовать взаимосвязь: А становится причиной В, В - причиной А или С (неизмеряемый показатель) становится причиной как А, так и В. Определением этих взаимосвязей занимается наука эконометрика. При наличии достаточного массива данных можно проверить две вещи: заметен ли эффект, когда А происходит до В, но не наоборот, когда В происходит до А (тогда можно предположить, что А становится причиной В); а также при прочих равных условиях (например, качестве) по-прежнему ли А вызывает В?

На основании доказательств, собранных на протяжении определенного периода и путем многочисленных наблюдений, можно с определенной долей уверенности утверждать наличие взаимосвязи между показателем индекса массы тела и вероятностью инфаркта. Мы можем быть уверены, что инфаркт не повышает индекс массы тела, так что В не является причиной А. Кроме того, этот эффект по-прежнему присутствует, когда все остальные переменные (генетический набор, стресс на работе и тому подобные) остаются постоянными. И эта взаимосвязь проявляется с течением времени во многих местах.

У вас вряд ли хватит времени, денег или массива данных, чтобы установить причинно-следственные отношения между абсолютно всеми аспектами и показателями вашего бизнеса.

Но есть два неформальных теста, которые вы можете провести.

• Проверка практикой: если кто-то говорит вам, что А становится причиной В, может ли этот человек привести убедительные доказательства, что так оно и есть? Если никто не может дать достаточно достоверного объяснения, скорее всего, есть еще какой-то фактор.
• Проверка на повторяемость: если, как вам кажется, вы обнаружили закономерность, обратите внимание, повторится ли она в следующем месяце или в другом вашем офисе или с другими клиентами.

Некоторые причинно-следственные отношения интересны, но не важны. Если вы установили, что А становится причиной В, от этой информации мало пользы, так как вы не можете изменить фактор, вызывающий этот эффект. Поручив выполнение задачи лучшим сотрудникам, вы можете быть уверены по крайней мере в том, что она будет исполнена в срок, при этом вы не можете повысить уровень надежности, поручив им больше работы, так как ваши сотрудники и так загружены. Вам придется найти другую причинно-следственную связь, на которую вы можете как-то повлиять: нанять новых сотрудников, инвестировать в обучение персонала или более эффективно делегировать рабочие задачи.

На практике бывает довольно сложно отличить корреляцию от причинно-следственных отношений, но не нужно быть специалистом по эконометрике, чтобы принимать более качественные решения. Просто примените два описанных выше теста, а затем решите, можете ли вы что-то сделать. И если вы едите много сыра, постарайтесь не запутаться в простынях, когда отправляетесь ко сну (шутка!).

Версия для печати