Тесты на привлекательность

Создание собственной платформы для проверки продуктовых гипотез обходится компании минимум в 150 млн руб. за три года — рынок готовых решений, по оценкам экспертов, предлагает сопоставимый функционал за 2,5 млн руб. в год. Поэтому A/B-тестирование — метод маркетингового или продуктового исследования, при котором одну группу пользователей направляют на исходную версию продукта (вариант A), а вторую — на измененную (вариант B) — из инструмента для отдельных продвинутых команд постепенно превращается в базовую практику управления цифровым продуктом. Рынок платформ для экспериментов в России существует всего три года, и большая часть бизнеса еще не успела выстроить саму культуру работы с данными.

Выйти из полноэкранного режима

Развернуть на весь экран

Считать, а не угадывать

По словам руководителя Trisigma Виталия Черемисинова, отправной точкой российского рынка платформ для A/B-тестирования можно считать 2022 год, когда западные аналитические решения стали недоступны, и на локальном рынке начали появляться собственные продукты. Первыми на рынок вышли два решения: Varioqub от «Яндекса» и EXPF Sigma — продукт, который позже приобрел «Авито» для усиления экспертизы команды и экосистемы собственной платформы Trisigma. Сегодня платформу используют уже более 60 компаний — среди них Burger King, «Детский мир», крупные банки и райдтех-компании. Рынок представлен «пятью-семью платформами со схожим, но отличающимся в деталях функционалом».

Сам рынок, по его оценке, уже можно разделить на два сегмента. Первый — это компании, которые уже используют продукты для автоматизации таких тестов и платят за них. Его объем составляет 1,5–2 млрд руб. в год. Второй — более свободный: компании, которые пока не определились, покупать готовое решение или создавать свое. Этот сегмент господин Черемисинов оценивает в 5-7 млрд руб. На горизонте двух-трех лет совокупный объем рынка может вырасти до 10-15 млрд руб. за счет автоматизации труда и увеличения расходов компаний на присутствие в онлайне.

Если смотреть шире, то сама логика рынка A/B-тестирования в мире появилась гораздо раньше. Как отмечает продуктовый руководитель Trisigma Искандер Мирмахмадов, истоки можно искать еще в 1990-2000-х годах, а одним из первых системно к экспериментам пришел Amazon, взяв за основу подход, схожий с клиническими испытаниями. Позже рынок ускорили Google Web Experiments и Google Optimize, а затем появились Optimizely, VWO, Convert и другие продукты.

В России эта история развивалась иначе. До 2022 года, по словам Виталия Черемисинова, 100% рынка занимали зарубежные решения. Однако это не означает, что все российские компании пользовались внешними платформами: крупнейший технологический бизнес — «Авито», «Яндекс», «ВКонтакте» — жил на собственных разработках. Под основной удар попали компании среднего масштаба, которые строили культуру работы с данными на базе западных инструментов. Когда эти решения исчезли, образовалась пустота, которую нужно было чем-то заполнять. В результате рынок разделился: одни компании начали строить собственные платформы, другие — искать локальные продукты, третьи — использовали собственные разработки и ничего не закупали.

Помимо подхода к выбору решения — готовая платформа или собственная разработка — рынок можно рассматривать и через уровень аналитической зрелости компаний. В первом случае речь скорее об экономике проекта, во втором — размере команды, инфраструктуре и доступных ресурсах. Господин Мирмахмадов выделяет следующие сегменты. Первый — зрелые игроки, у которых достаточно трафика, инженерных ресурсов и высокая культура экспериментов. Второй — компании среднего размера, у которых уже есть аналитик и хранилище данных (data warehouse), но нет возможностей содержать полноценную внутреннюю платформу: для них вендорские решения становятся способом компенсировать нехватку ресурсов. Третий сегмент — небольшие маркетинговые команды без глубокой технической экспертизы. Этот сегмент до сих пор почти не покрыт: после ухода Google Optimize на рынке так и не появилось столь же простого и бесплатного инструмента.

В отличие от международного рынка, который развивается уже много лет, российский сегмент платформ для проверки продуктовых гипотез остается молодым, но быстро растет. Господин Черемисинов отмечает, что по полноте функций международные продукты пока опережают российские, особенно если речь идет о next-gen-решениях StatSig, Growthbook и других, которые при правильной интеграции полностью заменяют внутреннюю разработку. Российские продукты моложе — и это объективный факт: рынок существует всего три года. Но скорость, с которой он развивается, уже позволяет закрывать большинство задач, актуальных для российского бизнеса.

Особенности российского рынка

Искандер Мирмахмадов добавляет, что российский рынок в принципе более закрытый: здесь компании чаще думают о том, как обезопасить себя на случай ухода вендора, а потому предпочитают разворачивание на собственной физической инфраструктуре (on-premise) и в частном облачном контуре (Virtual Private Cloud). Кроме того, российский клиент не готов просто купить «коробку»: вместе с продуктом ему нужен консалтинг, сопровождение, помощь с методологией и внедрением экспериментов в реальные бизнес-процессы.

Эта особенность напрямую связана с состоянием рынка. По словам господина Черемисинова, около 30% компаний приходят уже с собственными решениями и хотят с помощью вендора масштабировать процесс экспериментирования. Остальные 70% — это компании без промышленного решения, иногда с чем-то собранным «на коленке», которые хотят выстроить процесс с нуля. И даже среди тех, у кого уже есть внутренняя разработка, лишь небольшая часть готова сразу полностью отказаться от нее: чаще компании некоторое время держат собственную платформу как буфер, наблюдая, как работает внешнее решение. При этом, как подчеркивает господин Мирмахмадов, две платформы одновременно — скорее исключение, чем норма: это противоречит методологии и экономически невыгодно, если оба инструмента решают одну и ту же задачу.

Экономика экспериментов

Один из ключевых вопросов этого рынка — экономика. Лицензия на платформу экспериментов, по оценке Виталия Черемисинова, начинается в среднем примерно от 2,5 млн руб. в год. Для малого бизнеса нижняя граница — около 1,2 млн руб., для крупных компаний средний чек составляет 6-10 млн руб. в год. Создание собственной платформы — совсем другой уровень вложений. Разовая инвестиция только в появление решения — минимально составляет около 50 млн руб., и первые два года эту сумму придется повторять ежегодно. В итоге за три года, по оценке господина Черемисинова, компания потратит от 150 млн руб. на разработку и поддержку собственного решения.

Но выбор между своим решением и рыночным продуктом определяется не только бюджетом. По словам Искандера Мирмахмадова, ключевой вопрос — целесообразность, а она зависит от фактора, который в профессиональном сообществе обозначается термином velocity («скорость» — англ.). Это количество экспериментов, проводимых за единицу времени. Если компания запускает около 100 экспериментов в месяц, то имеет смысл разработать собственную платформу, но если речь идет о десятках экспериментах в месяц, такая разработка, скорее всего, не окупится. При этом ценность платформы не сводится к прямому заработку, подчеркивает он. Эксперименты нужны и для того, чтобы защищать бизнес от неверных решений. По оценкам Виталия Черемисинова, около 10% гипотез дают значимый положительный результат, еще 10% — значимый негативный, а 80% – не показывают значимого эффекта. Задача платформы A/B-тестирования — как можно чаще находить именно те изменения, которые ухудшают показатели, и не допускать их в промышленную раскатку.

В числе самых частых задач господин Черемисинов называл изменения UX и тестирование промомеханик — например, влияния цены на спрос, — а также эксперименты над бэкенд-алгоритмами: поиском, рекомендациями, ранжированием. Но есть и более сложные сценарии. Виталий Черемисинов приводит в пример «Детский мир». Исторически компания была классическим офлайн-ритейлером, но за последние годы цифровое направление стало полноценной частью бизнеса — во многом из-за роста конкуренции с маркетплейсами. В такой модели A/B-тесты нужны уже не только для того, чтобы «подкрутить» интерфейс, а чтобы быстрее проверять гипотезы, улучшать пользовательский опыт и принимать решения на основе данных.

Гипотезы стали проверяться быстрее, удалось выявить «тонкие моменты» — например, пользователь добавлял товары в корзину, но не все из них можно было оформить одновременно из-за различий в ассортименте магазинов и складов — и поменять логику.

Другая актуальная задача для многих компаний, по словам господина Черемисинова, — это использование ИИ в контексте экспериментов, в частности, суммаризация результатов, когда агент помогает собрать вывод из множества метрик после завершения теста. Господин Мирмахмадов добавляет, что из прикладных инструментов востребованы визуальные редакторы, позволяющие запускать простые изменения прямо внутри платформы. ИИ не заменяет эксперименты — он лишь генерирует гипотезы, которые все равно нужно проверять, считает Виталий Черемисинов.

Сегодня российский рынок продуктовой аналитики и платформ для экспериментов проходит путь от точечных и часто ручных проверок гипотез к системному управлению цифровыми продуктами на основе данных. Компании учатся не просто собирать данные, а использовать их как основу для продуктовых решений — регулярно, последовательно и с понятной методологией. Поэтому главный процесс, который сейчас происходит на рынке, — это не столько рост числа платформ, сколько укоренение самой культуры экспериментов, считают эксперты Trisigma. А вместе с ней формируется и спрос на решения, которые позволяют сделать эту работу системной.