Итерации и обучение.

Ошибки — это порталы открытий. Джеймс Джойс

В предыдущей главе мы говорили о том, что недостаток подотчетности был назван одной из основных проблем в отношении людей, принимающих решения. Кто-то должен «вести счет», не только чтобы люди, принимающие решения, за них отвечали, но и чтобы у компании была возможность учиться и расти. Например, предпринимая определенные действия на перспективу, такие как построение прогнозных моделей, важно не забывать о петле обратной связи, в рамках которой вы проводите регулярный обзор результатов, изучаете отдельные случаи (так называемый анализ ошибок), выясняете, где вы могли бы действовать эффективнее.

Какое-то время я был специалистом по работе с данными в компании One Kings Lane — интернет-магазине по флеш-распродажам товаров для дома. Каждое утро мы предлагали пользователям 4 тыс. наименований товаров, 60 % из которых не выставлялись ранее. (Все эти предметы были в ограниченном количестве, и мы продавали их в течение трех дней или пока товар не закончится, в зависимости от того, что происходило быстрее.) Мы с коллегами строили наборы моделей, прогнозирующие, сколько товаров будет распродано к концу одного дня и к концу трех дней. У нас был дашборд, отражавший наши ошибки прогнозирования. Каждое утро мы проводили около часа, изучая и анализируя эти ошибки. Почему нам не удалось правильно спрогнозировать продажи этих ковриков? Действительно ли пользователи случайным образом выбирают между очень похожими товарами? Наша повседневная рутина превращалась в увлекательное занятие, частично потому, что мы относились к этому как к дружескому соревнованию. Мы обменивались идеями, начинали лучше понимать данные, и качество наших моделей неизменно росло. Причина была в постоянных итерациях и обратной связи, в непрерывном анализе пограничных случаев, в попытках их понять и улучшить общее качество.

То же верно и в отношении тестирования и экспериментов. Как уже говорилось в главе 8 и главе 9, интуиция часто нас подводит. Более половины онлайн-экспериментов ни к чему не приводят. Однако это совсем не провал, если вы анализируете причины и учитесь на своих ошибках.

На рис. 10.2 показана общая петля обратной связи. Вы планируете и проводите эксперимент, измеряете результаты, анализируете данные, интерпретируете результаты, делаете выводы, строите гипотезы и планируете новый эксперимент. Достигаете верхней точки и вновь начинаете движение по кругу. Планирование эксперимента — условное название для этого этапа. С таким же успехом его можно назвать построением модели или разработкой PR-кампании. Суть в том, что компания с управлением на основе данных должна извлекать максимальную пользу из любых данных, даже если это был «провал», учиться на своих ошибках и действовать дальше, продвигая бизнес.

Рис. 10.2. Петля обратной связи: планирование, измерение, выводы и повтор.

Источник: на основе рисунка Эндрю Фрэнсиса Фримена. Воспроизводится с разрешения

Этот аспект должен глубоко укорениться в корпоративной культуре компании. В компании с управлением на основе данных, где все сотрудники наблюдают за данными, любой может выдвинуть гипотезу и большинство сотрудников используют данные в работе, как правило, наблюдаются активная вовлеченность в процесс и заинтересованность. Сотрудники способны делать наблюдения и знают, что за их работой тоже наблюдают. Когда в компании четко определены цели, а сотрудники сосредоточены на основных KPI, им действительно важно, когда эксперимент проваливается или программа «взлетает». Они будут пытаться разобраться в причинах, чтобы улучшить процесс. Поддерживайте этот настрой и не останавливайтесь, если результаты A/B говорят о «провале», — воспринимайте это как процесс обучения, который позволит в будущем выдвинуть более удачную гипотезу.

Управление на основе данных требует гибкости и готовности вносить изменения и на уровне компании: по мере роста и развития компании вы должны быть готовы реорганизовать свои команды специалистов по работе с данными и изменить их место в структуре организации.