Виталий Черемисинов: «Как эксперименты делают продукты и бизнесы лучше»
Виталий Черемисинов – руководитель отдела аналитики AIC, первой в России компании сервисного дизайна. Соучредитель интенсива по математической статистике и A/B-тестам Experiment Fest. Спикер на конференциях «МатеМаркетинг», Analytic Day, Dev Gamm. Преподаватель Skillbox. Экс-член экспертного совета «Премии Рунета». Виталий рассказывает, почему А/В-тесты – это не только про digital, как эксперименты увеличивают прибыль компании и что Youtube позаимствовал у Pornhub.
Что такое А/В-тестирование? Берём исходную версию продукта, например лендинга, и что-то на нём меняем: кнопку, форму, картинку. Затем сравниваем, какая из версий работает лучше по конкретному показателю. Об этом много пишут и рассказывают. Но важно понимать, что это не процесс, а целая культура постоянных экспериментов – Experiment Driven Culture.
Если мы говорим о культуре, должны быть культурные феномены. Они есть – это компании, которые блестяще наладили процесс разработки продуктов на основе анализа данных. Netflix, Booking, Airbnb... Pornhub, кстати, тоже. И другие компании.
Прекрасный кейс – LinkedIn. Во многих компаниях А/В-тесты связаны с digital, а LinkedIn с помощью data science оптимизирует офисное пространство
Представьте огромный open space, разделённый перегородками на несколько частей. В одной части пространство организовано определённым образом: столы, стулья, горшки с цветами размещены по единой системе. А во второй части офиса всё устроено совсем иначе, в третьей – вообще по-другому.
Под каждым столом есть небольшой датчик, который фиксирует, сколько сотрудник проводит времени за рабочим местом. На компьютере установлено ПО, которое замеряет, как долго работник активничает за компьютером. Аналитики формируют метрики, которые наглядно демонстрируют качество рабочего пространства в разных зонах.
| LinkedIn – яркий пример того, что тестировать можно не только кнопки и картинки. Компания смогла сделать так, чтобы все решения, включая HR, принимались только на основе анализа данных |
Walmart – в прошлом консервативная торговая сеть, сейчас компания в авангарде развития мирового e-commerce. Одна из первых стала проводить эксперименты по определению цены – price discovery.
Выглядит это так: «Что будет, если увеличить цену на йогурт на 20 рублей? Как изменится спрос?» Практика показывает, что часто спрос не изменится, а прибыль увеличится. То есть при той же стоимости привлечения покупателя мы получаем больший выхлоп. Walmart стал первооткрывателем в этом. И это тоже пример зрелой культуры экспериментов и работы с данными.
Netflix – идеальный пример компании, в которой все решения принимаются на основе анализа данных. Если посмотреть их вакансии, то даже продюсеры в Netflix должны знать, что такое А/В-тесты
Netflix тестирует не только технические моменты в приложении и на сайте, нормой являются эксперименты с основным продуктом – сериалами. Например, две разных версии эпизода в одной серии. В «Карточном домике» были разные версии шуток от героя Кевина Спейси. Анализировалось, в какой версии пользователи досмотрят серию и весь сериал до конца.
Откройте сайты «Циан» и Airbnb. Вроде и там квартиры, и там квартиры. Почему Airbnb настолько успешнее? Однажды возникла гипотеза, что стоит выделить ресурсы на привлечение профессиональных фотографов для съёмок жилья. Проект многократно вырос – это прямое следствие эффективной работы культуры экспериментов.
Обычно люди смеются, когда видят лого Pornhub в презентации по анализу данных. Но эта платформа собирает и анализирует колоссальное количество информации о пользователях. Благодаря этой информации внедряются новые «фишки», которые потом благополучно заимствуют другие сервисы.
На Youtube при наведении курсора мыши на ролик можно посмотреть небольшое превью – что вы увидите в ближайшие несколько минут/часов. Это удобно, своего рода «живой» А/В-тест, он позволяет увеличить количество пользователей, которые за одну сессию просматривают несколько видеороликов. Угадайте, откуда Youtube узнал, что можно так делать? Правильно, Pornhub внедрил это первым.
| Какой специалист сможет успешно собирать и анализировать данные для вашего бизнеса? Аналитик – это не программист, не математик и не менеджер, но при этом он всегда немного математик, немного программист и немного менеджер |
По каким параметрам подбирать аналитика:
- хороший опыт работы с кодом
- знание математической статистики
- умение приоритизировать гипотезы и метрики
- умение автоматизировать процессы
|
«Конспект» – еженедельная рассылка с текстами выступлений главных спикеров Synergy.Online без рекламы и спама. Бесплатно делимся знаниями самых умных людей мира. |
Важный момент: у вас может быть десять крутых аналитиков, но результата не будет, если топ-менеджмент компании не понимает ценности анализа данных и экспериментов. Всё начинается с головы, то есть с руководства.
Научитесь воспринимать свой продукт не как готовое решение, а как гипотезу. Лишь когда вы будете готовы к ошибкам и экспериментам, вам действительно понадобятся аналитики. И когда вы их наймёте, вас ждёт много интересного
|
|
