Когда речь заходит о тестировании писем, почти всегда имеют в виду сравнение двух вариантов темы — и на этом тестирование часто заканчивается. Между тем тема письма влияет только на решение открыть его, а всё, что происходит после открытия — прочитают ли текст до конца, перейдут ли по ссылке, — зависит от других элементов, которые тестируют значительно реже.
Что вообще имеет смысл сравнивать
Помимо темы, заметное влияние на результат оказывают: имя отправителя, которое получатель видит в списке входящих ещё до открытия письма, длина и структура основного текста, формулировка и расположение призыва к действию, а также время и день отправки. Каждый из этих элементов способен изменить показатели сильнее, чем очередная вариация заголовка.
Одна переменная за раз или всё сразу
Соблазн протестировать сразу несколько изменений — и тему, и текст, и время отправки — понятен, но в таком тесте невозможно понять, какое именно изменение повлияло на результат. Разумная практика — менять один элемент за тест, накапливать данные по нему до статистически достаточного объёма и только потом переходить к следующей переменной.
Рекламная электронная рассылка (в её тестировании особенно легко сделать вывод раньше времени: разница в десять открытий на паре сотен писем — это ещё случайность, а не закономерность) требует именно такого последовательного, а не одновременного подхода к проверке гипотез.
Сколько данных нужно, чтобы доверять результату
Малый объём выборки — главная причина ложных выводов в тестировании писем. Разница в пару процентов между вариантами на выборке в несколько десятков адресов почти всегда объясняется случайностью, а не реальным преимуществом одного варианта над другим. Прежде чем делать вывод и масштабировать «победивший» вариант на всю базу, стоит убедиться, что разница сохраняется на достаточно большом и представительном сегменте.
Типичные ошибки, которые искажают результат
Тестирование в разное время суток для разных вариантов, использование заведомо разных по составу сегментов аудитории для варианта A и варианта B, и преждевременная остановка теста сразу после появления заметной на глаз разницы — три самые частые причины, из-за которых команда делает вывод, не подтверждающийся при повторном запуске той же гипотезы.
Итог
Систематическое тестирование, охватывающее не только тему письма, но и остальные элементы, требует больше дисциплины, чем разовое сравнение двух заголовков, но именно оно постепенно накапливает знание о том, что реально работает для конкретной аудитории, а не для писем вообще.