Проведите небольшие эксперименты с определенным правилом принятия решения.

Эксперименты теряют ценность, когда команда меняет слишком много вещей одновременно или переопределяет успех после изучения данных. Простой протокол делает обучение более понятным, даже если результат неубедителен.

Напишите гипотезу и механизм

Использование: «Если мы вносим [изменение] в [группу], мы ожидаем увидеть [знак], потому что [причина]». Причина имеет значение: если сигнал не меняется, вы можете оценить, была ли гипотеза или механизм ошибочными.

Определить тест

Выберите основное изменение, группу или ситуацию, период и способ записи наблюдений. Заранее определите, какой результат подтвердит гипотезу, какой ослабит ее и какой потребует дополнительной информации. В тестах с небольшим количеством наблюдений рассматривайте закономерности как подсказки, а не как статистическое доказательство.

Включите ограничения по безопасности и усилиям

Определите, сколько времени или ресурсов может потребовать проверка и какая ситуация требует преждевременной остановки. Если существует риск для клиентов, данных, безопасности или качества, защитите участников и остановитесь, когда возникнет непредвиденный вред.

По завершении запишите, что произошло, что не было измерено, и следующее решение: принять, скорректировать, повторить или отказаться. Эксперимент, уменьшающий неопределенность, уже может быть полезен, даже не подтверждая идею.

Часто задаваемые вопросы

Нужна ли мне контрольная группа?

Это зависит от цены неправильного вывода и дизайна теста. В простых случаях сравнение «до/после» может помочь ответить на следующий вопрос, но оно не позволяет выявить все причины.

Что делать, если результат неубедительный?

Просмотрите продолжительность, качество измерения и величину эффекта, который вы можете почувствовать. Решите, стоит ли повторять проект с лучшим дизайном или оставшаяся неопределенность приемлема.

Могу ли я протестировать несколько изменений?

При исследовательском тестировании может, но отдельные изменения помогают понять, что повлияло на результат.

Чтобы продолжить обучение практическим идеям для бизнеса, бесплатно подпишитесь на рассылку новостей Ímpetus.