Все мы хотим, чтобы наши коллеги и руководство, принимающие бизнес-решения, использовали данные Веб Аналитики как можно больше, для того чтобы сделать максимально эффективным процесс принятия решений. Каким образом мы можем давать рекомендации, будучи в них уверенными? Как мы можем управлять действиями, а не просто передавать данные? Задача состоит в том, чтобы отделить сигналы от шума и сделать это наиболее простым образом.
Это Полезный Совет Аналитика 1, первая часть из серии статей. Используйте мощь Статистики.
Рассмотрим такой сценарий (А):
Вы отправляете два предложения потенциальным клиентам. Вот как выглядят результаты:
Ответов на Первое предложение: 5 300. Заказов: 46. Следовательно, коэффициент конверсии: 0,87%
Ответов на Второе предложение: 5 200. Заказов: 55. Таким образом, коэффициент конверсии равен: 1,06%
Действительно ли предложение Два лучше чем предложение Один? Ведь его коэффициент конверсии «лучше» на 0,19%. Можете ли вы решить какой из двух вариантов лучше, имея лишь 40-50 ответов (целевых действий)? Мы получили больше на 9 заказов, при том, что посетителей было на 100 меньше.
Применяемые методы Статистики говорят нам о том, что полученный результат, два коэффициента конверсии, дают только 0,995 стандартного отклонения друг от друга и не являются статистически значимыми. Это означает, что разница в конверсиях, скорее всего, вызвана шумом.
Рассмотрим следующий сценарий (В):
Вы вновь отправляете два предложения потенциальным клиентам. Результаты выгляди следующим образом:
Ответов на Первое предложение: 5 300. Заказов: 46. Следовательно, коэффициент конверсии: 0,87%
Ответов на Второе предложение: 5 200. Заказов: 63. Таким образом, коэффициент конверсии равен: 1,21%
Применяемый инструмент Статистики, теперь говорит нам о том, что два значения дают стандартное отклонение равное 1,74 и результат на 95% является статистически значимым. 95%-ое значение имеет очень сильный сигнал. Основываясь на этом и на небольшой выборке всего лишь из 5 тыс. и 60 с лишним ответов, мы можем с уверенностью предсказать успех.
Большие преимущества от представления Статистической Значимости, а не просто Коэффициента Конверсии:
Вы делаете выводы исходя из уравнения, это все равно, что сказать «в соответствии с Богом Статистики результат следующий…»
Сосредоточившись на качестве сигнала, мы кажемся более умными, и таким образом люди больше доверяют нам
Вы мыслите и задаете вопросы исходя из уравнения. Либо что-то является статистически значимым, и мы принимаем меры, или мы говорим, что это не является статистически значимым, и давайте попробуем что-нибудь еще. Скажите нет пустым отчетам, только действенные идеи.
Трудно ли это сделать?
Нет! Просто используйте таблицу по ссылке, которая перепала нам от выдающегося Рагса Шринивасана (Rags Srinivasan):
Калькулятор расчета Статистической Значимости
С помощью таблицы вы получите еще больше отдачи от затраченных средств. На листе номер один вы можете выбрать 1-о этапный или 2-ух этапный тест для ваших расчетов статистической значимости. Вот шаги: Выберите из выпадающей ячейки D7 один из методов. Заполните ячейки B13, C13, B14 и C14 (в большинстве случаев, как много участников или посетителей и т.д. были там и как много конверсий вы получили). В ячейке C18 вы увидите, является ли результат статистически значимым или нет.
Во втором листе, для тех из вас кто немного более продвинут, вы можете применить метод «икс в квадрате». Этот тест является более оптимальным, если вы имеете дело с очень маленькими значениями коэффициента конверсии (что не редкость в Веб-е). Это более скептический тест с большим порогом различия. Его преимущество в том, что небольшие статистические аномалии не похожи на реальные различия.
Если вы сомневаетесь в результате, идите на второй лист с методом «икс в квадрате».
Два небольших совета:
Это лучшая практика, но цель в 95% или выше дает большую достоверность. Это не всегда обязательно, но рекомендуется.
«Статистика, как бикини. То, как он выглядит, наводит на мысль, но то, что скрыто под ним, является жизненно важным.» Аарон Левенштейн
Согласны ли вы? Или не согласны? Не очень Полезный Совет Аналитика? Пожалуйста, поделитесь обратной связью через комментарии.