Контрольная группа в SMS: как измерить реальный прирост продаж

Контрольная группа в SMS — это случайно выбранная часть подходящей аудитории, которая не получает исследуемое сообщение. Сравнение с ней показывает инкрементальный эффект: сколько целевых действий произошло именно благодаря кампании, а не просто совпало с ней по времени.

Если 500 покупателей сделали заказ после рассылки, это ещё не значит, что SMS принесла 500 заказов. Часть людей купила бы и без сообщения. Holdout-группа помогает оценить этот естественный уровень.

Чем holdout отличается от A/B-теста

A/B-тест SMS сравнивает два варианта сообщения. Обе группы обычно получают коммуникацию, поэтому эксперимент отвечает, какой текст работает лучше. Контрольная группа сравнивает отправку с отсутствием отправки и отвечает, нужен ли канал в этом сценарии вообще.

Можно объединить дизайн: контроль не получает SMS, группа A получает текущий вариант, группа B — новый. Но тогда аудитория делится на три части, и каждой нужен достаточный размер.

Кого включать

Сначала определите полную подходящую аудиторию по бизнес-правилам: сегмент, согласие, отсутствие стоп-фактора, частотный лимит, актуальность предложения. Только затем случайно распределяйте её на test и control.

Нельзя сначала выбрать «самых активных» для отправки, а менее активных оставить контролем. Разница в продажах будет отражать исходное поведение, а не SMS. Также нельзя использовать прошлогоднюю аудиторию как контроль для текущей кампании: сезон, цены и конкуренция изменились.

Единицей рандомизации обычно является клиент или аккаунт. Все связанные номера и события одного клиента остаются в одной группе, чтобы коммуникация не перетекала между вариантами.

Размер контрольной группы

Holdout уменьшает немедленный охват, поэтому возникает желание сделать его символическим. Но слишком малая группа даёт шумный результат. Размер зависит от базовой частоты целевого события и минимального прироста, который важно заметить.

Для частых действий достаточно меньшей доли, для редкой покупки понадобится больше наблюдений или более длинный период. Рассчитайте размер до старта и учитывайте абсолютное количество событий, а не только процент базы.

Если цена неотправленного предложения высока, можно начать с ограниченного сегмента и повторить эксперимент. Отсутствие достаточной выборки нельзя исправить красивой визуализацией.

Метрика и окно

Основная метрика должна быть связана с бизнес-результатом: оплаченный заказ, повторная покупка, пришедший клиент, погашенная задолженность. Переход по ссылке полезен как диагностика, но не всегда отражает конечную ценность.

Задайте окно, в котором действие связывается с кампанией. Оно должно быть одинаковым у test и control. Контрольной группе тоже присваивается условное время старта, чтобы сравнивались одинаковые календарные периоды.

Для долгого цикла продаж учитывайте задержку результата. Закрывать отчёт в день отправки нельзя, если покупка обычно происходит через неделю.

Как считать прирост

Пусть конверсия test — 6%, а control — 5%. Абсолютный инкрементальный эффект равен 1 процентному пункту. Относительный uplift — 20% к естественному уровню. Если в test было 10 000 человек, оценка дополнительных действий — около 100.

Формула простая:

дополнительные действия = размер test × (конверсия test − конверсия control)

Рядом покажите статистическую неопределённость. Наблюдаемая разница может быть случайной, особенно при малом числе событий. Для финансовой оценки из дополнительной маржи вычтите стоимость сообщений, скидок и инфраструктуры.

Загрязнение контроля

Контроль может получить похожее сообщение из другой кампании, email, push или звонка. Тогда разница между группами уменьшается, и SMS выглядит слабее. Создайте общий реестр коммуникаций и исключите конфликтующие воздействия либо фиксируйте их для анализа.

Полностью изолировать маркетинг не всегда возможно. В отчёте честно укажите, какие каналы действовали одновременно. Особенно важно не отправить control-группе то же предложение через автоматический триггер.

Сервисные и обязательные сообщения

Нельзя удерживать сообщение, которое необходимо для безопасности, выполнения услуги или предотвращения вреда, только ради эксперимента. Holdout подходит для маркетинговых и необязательных коммуникаций, где отсутствие SMS допустимо.

Если исследуется сервисный сценарий, контроль может использовать текущий процесс, а test — новый, но оба должны получать обязательный минимум. Решение согласуйте с владельцем процесса и, при необходимости, юристом.

Постоянный holdout

Для регулярной программы полезна небольшая стабильная контрольная группа на несколько кампаний. Она показывает накопительный эффект канала и снижает влияние отдельных дат. Но постоянный holdout должен быть справедливым: клиентов периодически перераспределяют по утверждённому правилу и не лишают важной информации.

Отдельные кампании всё равно могут иметь собственные тесты. Главное — не смешать уровни рандомизации и не посчитать одного человека одновременно в нескольких независимых контролях без учёта пересечений.

Атрибуция и контроль

Ссылки, промокоды и события помогают связать действия с конкретной SMS, но сами по себе не показывают, произошло бы действие без неё. Поэтому отчёт о пути клиента и holdout дополняют друг друга: первый описывает касания, второй оценивает причинный прирост. Общий набор показателей можно сверить с материалом про метрики SMS-кампаний.

Если результаты расходятся, это полезный сигнал. Высокая атрибутированная выручка при низком uplift может означать, что SMS хорошо сопровождает уже готовых купить клиентов, но мало создаёт новых действий.

Проверка баланса и SRM

После распределения сравните ожидаемый и фактический размер групп. Существенное несоответствие, которое называют sample ratio mismatch, может возникнуть из-за ошибки фильтра, повторной рандомизации или технического исключения одной группы.

Также проверьте исходные показатели до кампании: частоту покупок, средний чек и активность. Рандомизация допускает небольшие различия, но крупный перекос требует расследования до интерпретации uplift.

Не «исправляйте» дисбаланс ручным удалением клиентов после просмотра результата. Лучше признать эксперимент повреждённым и повторить с корректным механизмом.

Расход и маржа

Инкрементальные заказы переводят в дополнительную маржу, а не только в выручку. Из неё вычитают стоимость SMS, скидку, бонусы и переменные расходы кампании. Так появляется инкрементальная окупаемость.

Если эффект положительный, но дорогой, тест всё равно полезен: можно искать более точный сегмент, другой момент или более короткий текст. Если прирост нулевой, прекращение кампании экономит бюджет без потери естественных продаж.

Этические и клиентские ограничения

Holdout не должен скрывать обязательные условия, изменения договора, безопасность или информацию, необходимую для оказания услуги. Для рекламной акции заранее решите, приемлемо ли не показывать предложение части клиентов и не создаёт ли это несправедливых условий.

Команда документирует основание эксперимента, срок и владельца. Данные контрольной группы используются для анализа, но отсутствие отправки не означает отказ от общих правил приватности.

Воспроизводимый отчёт

Сохраните правило отбора, seed или версию хеширования, время условного старта, окно конверсии и запрос расчёта. В отчёте укажите абсолютные размеры и события, а не только проценты.

Для справки о назначении контроля как точки сравнения можно использовать определение из статистического справочника NIST. В бизнес-эксперименте важен тот же принцип: группа без воздействия показывает естественную вариативность процесса.

Итог

Контрольная группа превращает отчёт «продажи после SMS» в оценку дополнительных продаж благодаря SMS. Для этого аудиторию сначала делают сопоставимой, затем случайно разделяют, одинаково измеряют окно и учитывают другие коммуникации. Holdout требует отказаться от части немедленного охвата, зато защищает бюджет от кампаний, которые лишь присваивают себе естественный спрос.