Как провести успешное А/В-тестирование вашего приложения, страницы в магазине приложений или посадочной страницы: теория, подсказки и примеры из реальной жизни
Рустам Тагиев
Сегодня, кажется, все поглощены А/В-тестированием. Мы постоянно встречаем советы по поводу тестирования разных цветов для кнопок, вариантов дизайна для иконки корзины и т.д.
Рандомное А/В-тестирование может улучшить пользовательскую конверсию вашего приложения или увеличить количество скачиваний. Однако в большинстве случаев рандомное тестирование не приносит никакого ощутимого эффекта.
Как же провести А/В-тестирование мобильного приложения и получить результаты, которые действительно помогут улучшить отдачу от него?
Когда и почему А/В-тестирование терпит фиаско?
А/В-тесты считают неудачными, если они не могут привести к статистически значимым результатам, т.е. если они не позволяют вам сделать точный вывод о том, какой из тестируемых вариантов лучше.
Другая неприятная ситуация возникает тогда, когда А/В-тест показывает результаты, имеющие статистическую значимость, но не отвечающие вашим ожиданиям. Обычно такое случается, если изначально не было достаточно информации, подтверждающей эффективность таких изменений.
А/В-тестирование даст вам желаемые результаты только в том случае, если тесты имеют смысл и нацелены на те элементы вашего продукта, которые могут помочь вам достичь ваших бизнес-целей.
Как мы можем сделать А/В-тестирование осмысленным?
Прежде всего, выстраивайте свой А/В-тест продуманно
Как правило, А/В-тестирование мобильных приложений состоит из двух частей:
- Тестирование содержания приложения (для улучшения общего пользовательского впечатления и увеличения привязанности пользователя к приложению).
- Тестирование страниц магазина приложений, рекламных объявлений и посадочных страниц (для повышения доли пользователей, купивших приложение).
Чтобы создать эффективный А/В-тест, выполните три следующих шага:
- Определите свои цели (обычно это количество переходов на страницу);
- Определите свои КПЭ и измерьте текущую эффективность (включая слабые места вашего продукта);
- Помните, что хорошие показатели пользовательской инфраструктуры и пользовательского восприятия – это ключ к успеху.
Когда А/В-тесты составлены правильно
Вот несколько реальных примеров того, как значимый А/В-тест привёл к существенным результатам.
«Runkeeper»: привлечение пользователей путём реорганизации стартового окна
«Runkeeper» – это приложение для отслеживания уровня активности. В 2013 году разработчики решили изменить стартовое окно, преобразовав его в иконки. В результате количество отслеживаний типов физической активности (кроме бега) возросло на 235%.
«Шкода»: эксперименты со скриншотами в магазине приложений
Компания всего лишь изменила порядок скриншотов в своём мобильном приложении. Количество пользователей, установивших приложение, увеличилось на 50%.
«Spreadshirt»: чем чище, тем лучше
«Spreadshirt» – это интернет-площадка по покупке и продаже футболок. Разработчики изменили инфографику, рассказывающую о том, как стать продавцом на сайте. Более минималистичная инфографика увеличила число продавцов на 606%!
Заключение
Рассмотренные нами А/В-тесты привели к значимым результатам потому, что они были основаны на аналитике приложений и удачных изменениях дизайна. Проводя А/В-тестирование мобильных приложений, вы должны понимать желания ваших пользователей, основываться на значимом дизайне и продолжать анализ и тестирование, чтобы добиться по-настоящему выигрышных результатов.