A/B-тест SMS-рассылки: как сравнивать тексты без самообмана

A/B-тест SMS-рассылки сравнивает два варианта на случайно разделённых сопоставимых группах. Он отвечает на конкретный вопрос: изменил ли один элемент сообщения выбранный показатель. Если одновременно поменять текст, время, сегмент и предложение, результат невозможно объяснить — даже если один вариант формально победил.

Статья про метрики SMS-кампаний помогает выбрать показатели в целом. Здесь разберём дизайн одного эксперимента: гипотезу, выборку, рандомизацию, срок и решение после теста.

Сформулируйте гипотезу

Хорошая гипотеза связывает изменение и ожидаемое поведение:

Если поставить конкретный срок предложения в первую строку, доля покупок в течение 48 часов вырастет, потому что получатель быстрее понимает ограничение.

В ней есть элемент, аудитория, метрика и окно. Формулировка «вариант B лучше» ничего не объясняет. До запуска запишите, почему ожидается эффект и какой результат будет практически значимым для бизнеса.

Тестируйте один главный фактор: призыв, формулировку выгоды, порядок информации, наличие имени или время отправки. Остальные условия остаются одинаковыми.

Одна основная метрика

Выберите primary metric до просмотра результатов. Для рекламной кампании это может быть покупка, заявка или использование промокода, а не переход сам по себе. Для сервисного текста — завершение нужного шага, снижение повторных обращений или доля действий без помощи поддержки.

Дополнительные показатели нужны для безопасности: отписки, жалобы, стоимость, недоставка. Вариант с ростом кликов и резким ростом отказов нельзя считать безусловным победителем.

Метрика должна иметь фиксированное окно атрибуции. Если для A считать покупки за сутки, а для B — за неделю, сравнение бессмысленно.

Случайное разделение

Получателей распределяют случайно и один раз. Удобен детерминированный хеш внутреннего customer ID: один человек стабильно попадает в одну группу, даже если обработка кампании перезапустилась.

Не делите «первые 5000 — A, следующие — B». Порядок базы может быть связан с регистрацией, регионом или активностью. Не отправляйте A утром, а B вечером: тогда вы тестируете одновременно текст и время.

Перед стартом проверьте баланс групп по ключевым признакам: размер, активность, регион, недавние покупки. Небольшие случайные различия нормальны, системный перекос указывает на ошибку распределения.

Один человек — одно наблюдение

Если клиент имеет несколько номеров или получает сообщение повторно, простое число SMS завышает выборку. Единицей анализа обычно становится человек или аккаунт, а не техническая отправка.

Исключите сотрудников, тестовые контакты, недоступные номера и тех, кто не соответствует условиям кампании, одинаково для обеих групп. Правила исключения записываются до расчёта результата.

Согласия, стоп-листы и частотные ограничения продолжают действовать: эксперимент не даёт права отправлять лишние сообщения.

Размер выборки

Малый тест часто не способен отличить реальный эффект от случайного шума. Размер зависит от базовой конверсии, минимального эффекта, который имеет бизнес-смысл, допустимой ошибки и желаемой мощности.

Не выбирайте выборку как «10% базы» без расчёта. При редкой покупке даже большая по виду группа может дать несколько событий. Если аудитории недостаточно, лучше тестировать более частую промежуточную метрику с понятной связью либо накопить данные дольше — но не объявлять победителя по трём заказам.

Зафиксируйте расчёт и критерий заранее. После старта не уменьшайте минимальный эффект только потому, что разница не стала значимой.

Не подглядывать каждый час

Если постоянно проверять результат и остановиться в первый удачный момент, вероятность случайной «победы» растёт. Заранее задайте размер выборки или длительность и дождитесь завершения окна атрибуции.

Аварийный мониторинг остаётся: кампанию немедленно останавливают при технической ошибке, жалобах или неожиданном риске. Но обычные колебания конверсии не причина завершать эксперимент раньше плана.

Если бизнесу действительно нужны последовательные решения, используйте соответствующую статистическую методику, а не обычный тест с произвольной остановкой.

Доставка и стоимость

Сравнивайте результат по назначенной группе — с учётом того, что часть SMS не доставится. Исключение недоставленных задним числом может нарушить случайность: качество номеров и маршрутов бывает связано с аудиторией.

Контролируйте, чтобы варианты имели одинаковое число сегментов и сопоставимую стоимость. Иначе B может дать больше продаж, но оказаться экономически хуже. Если длина — предмет эксперимента, стоимость становится частью оценки.

Анализ результата

После закрытия окна покажите для каждой группы число участников, число событий, конверсию, абсолютную и относительную разницу, интервал неопределённости и защитные метрики. Не ограничивайтесь фразой «рост на 20%»: переход с 1,0% до 1,2% — это +20% относительно, но +0,2 процентного пункта абсолютно.

Статистическая значимость не равна бизнес-ценности. Очень большая база может сделать значимой крошечную разницу, которая не покрывает стоимость внедрения. И наоборот, перспективный эффект на малой выборке остаётся неопределённым, а не доказанно нулевым.

После теста

Победивший вариант не включают навсегда без контроля. Зафиксируйте версию шаблона, аудиторию и дату, раскатите изменение и проверьте метрику на полном потоке. Эффект может уменьшиться вне экспериментальной выборки или со временем.

Если различия нет, это тоже результат: гипотеза не получила достаточного подтверждения при выбранной чувствительности. Не выбирайте B только потому, что он немного выше. Сохраните данные и переходите к следующей гипотезе.

Для ответа на более широкий вопрос «дала ли SMS дополнительный результат по сравнению с отсутствием отправки» нужен отдельный holdout-дизайн. Версии текста при этом ведут как управляемые SMS-шаблоны для бизнеса, чтобы эксперимент можно было воспроизвести.

Сегментный анализ без охоты за победой

После теста возникает соблазн перебрать десятки сегментов и найти тот, где B выглядит лучше. Чем больше разрезов, тем выше шанс случайной красивой разницы. Основные сегменты и ожидаемое направление эффекта лучше записать заранее.

Незапланированный результат можно использовать как гипотезу для следующего теста, но не как доказательство. Новый эксперимент отдельно проверяет найденный сегмент на свежей аудитории.

Если эффект действительно различается по типу клиента, в production понадобятся правила выбора варианта и достаточный объём для каждого. Сложная персонализация без устойчивых данных быстро теряет выигрыш на ошибках исполнения.

Техническая проверка эксперимента

Перед анализом убедитесь, что variant ID записан до отправки, доли соответствуют плану, один клиент не попал в обе группы, шаблоны не перепутаны, ссылки ведут на одинаково работающие страницы, а доставка сопоставима.

Проверьте sample ratio mismatch: заметное отклонение фактического распределения от заданного может указывать на ошибку рандомизации или фильтрации. Такой тест нельзя лечить исключением неудобных записей задним числом.

Сохраните SQL или версию расчёта, период и список исключений. Воспроизводимость защищает от ситуации, когда один аналитик получает победу A, а другой — B из-за разных фильтров.

Документ результата

Короткий паспорт эксперимента содержит гипотезу, даты, аудиторию, варианты, основную и защитные метрики, расчёт выборки, фактические результаты, ограничения и принятое решение. Он связывается с version ID шаблонов.

Так следующий сотрудник не повторит тот же тест и поймёт, где вывод применим. Библиотека отрицательных результатов не менее полезна, чем список победителей.

Итог

Корректный A/B-тест меняет один фактор, случайно делит аудиторию, заранее фиксирует основную метрику, выборку и срок. Он учитывает недоставку, стоимость и защитные показатели, не останавливается при первом красивом графике и отделяет статистическую разницу от бизнес-ценности. Такой эксперимент помогает принимать решения, а не искать подтверждение понравившемуся тексту.