Как провести A/B-тест SMS-рассылки на небольшой базе

Начните с одного вопроса: какое изменение в SMS вы хотите проверить и по какому действию оцените результат. Затем случайно разделите подходящую аудиторию на две группы и отправьте каждой свой вариант сообщения в одинаковых условиях. На небольшой базе такой тест помогает проверить гипотезу, но не гарантирует убедительного ответа после первой рассылки. Ниже разберём, как выбрать различие между текстами, учесть покупки и понять, когда результат стоит перепроверить, прежде чем менять все сообщения.

Что проверять в SMS, если получателей мало?

A/B-тест SMS-рассылки — это сравнение двух вариантов сообщения на разных группах получателей. Чтобы связать результат с конкретной правкой, меняйте только один элемент. Например, проверьте, помогает ли упоминание категории товара в начале текста получить больше заказов.

Сначала запишите гипотезу обычным предложением: «Если сразу назвать товар, покупателю будет проще понять предложение и перейти к заказу». Затем подготовьте два текста. В исходном варианте начните с предложения магазина, во втором вынесите название категории вперёд. Условия акции, ссылка и призыв к действию должны остаться одинаковыми по смыслу.

Для первого теста выберите один элемент:

• Начало сообщения: название магазина или категория товара.
• Формулировку действия: посмотреть ассортимент или выбрать товар.
• Подачу срока: дату окончания предложения или указание на оставшееся время.
• Объём пояснений: короткий текст или текст с уточнением условий.

У последнего варианта есть дополнительное условие: проверьте число SMS-частей и стоимость отправки. Более длинное сообщение может обойтись дороже. Тогда оценивать придётся и отклик, и расходы на заказ, а сам тест будет проверять весь формат сообщения.

Не меняйте одновременно текст, размер скидки и время отправки. Если заказов станет больше, вы не поймёте причину. Подробную схему подготовки вариантов можно взять из материала о том, как проводить A/B-тестирование SMS-рассылок без маркетолога.

Как разделить небольшую аудиторию без перекоса?

Сначала выберите клиентов, которым подходит одно и то же предложение. Например, для теста сообщения о повторной покупке используйте аудиторию с похожим опытом заказов. Если один вариант получат постоянные покупатели, а другой — люди без покупок, результат будет зависеть от состава групп.

Внутри выбранной аудитории распределите получателей случайно и примерно поровну. Не делите список по алфавиту, дате добавления или сумме покупок. В таких группах могут оказаться люди с разной готовностью заказать.

1. Сформулируйте правило отбора: кому подходит товар и предложение.
2. Уберите повторяющиеся номера, чтобы человек не получил оба варианта.
3. Случайно назначьте каждому получателю вариант A или B и сохраните это назначение.
4. Запланируйте отправку обеим группам на один период.
5. Проверьте, что цены, наличие товара и условия покупки одинаковы.

При маленькой аудитории не дробите тест на несколько вариантов текста. Каждому достанется меньше получателей, а отдельная покупка сильнее повлияет на итог. Для начала оставьте исходное сообщение и одну правку.

Есть и практическое ограничение: отправка первой группе не должна исчерпать товар до отправки второй. Если запас небольшой, выберите для теста другое предложение. Иначе вы будете сравнивать доступность товара вместо текста SMS.

Как измерить результат SMS-теста?

Выберите главное действие до отправки. Для интернет-магазина это может быть оплаченный заказ, для услуги — подтверждённая запись. Переход по ссылке полезен как промежуточный показатель, но сам по себе ещё не означает продажу.

Для каждого варианта настройте отдельную метку ссылки или отдельный промокод с одинаковыми условиями. Метка помогает связать переход с вариантом сообщения. Промокод подходит для покупок на кассе, если сотрудник фиксирует его в учётной системе. До запуска пройдите путь покупателя сами: откройте ссылку, оформите тестовое действие и проверьте, где появился источник.

Сразу определите, как долго будете учитывать результат после отправки. Выбирайте срок по обычному циклу покупки: заказ повседневного товара и запись на услугу требуют разного времени. Для обеих групп используйте одинаковое окно и не продлевайте его только для варианта, который пока отстаёт.

В отчёт достаточно включить следующие показатели:

• Сколько сообщений отправили и сколько сервис отметил как доставленные.
• Сколько получателей перешли по ссылке, если вы отслеживаете переходы.
• Сколько получателей выполнили главное действие.
• Какую долю от доставленных сообщений составили целевые действия.
• Сколько потратили на отправку каждого варианта.

Для расчёта доли целевых действий разделите число получателей с нужным действием на число доставленных сообщений в группе. Используйте один знаменатель для обоих вариантов и подпишите его в отчёте. Рядом оставьте абсолютные значения: на маленькой базе процент без числа заказов легко вводит в заблуждение.

Обычный отчёт SMS-шлюза не показывает достоверно, прочитал ли человек сообщение. Статус доставки подтверждает доставку, а переход по ссылке отражает отдельное действие. Поэтому обещания измерить «открываемость SMS» не подходят для оценки такого теста. Перед запуском полезно разобраться, как проверить доставку SMS и прочитать отчёты шлюза.

Когда результату небольшой рассылки можно доверять?

Небольшая база ограничивает точность вывода. Если разницу между вариантами создаёт одна дополнительная покупка, оснований менять все сообщения мало. Запишите результат как наблюдение и повторите проверку при сопоставимых условиях.

Универсального минимального размера аудитории для A/B-теста нет. Нужный объём зависит от обычной конверсии и от того, насколько небольшую разницу вы хотите заметить. Когда покупки редки, даже заметный разрыв в процентах может опираться на считаные заказы.

До отправки зафиксируйте момент подведения итогов. Не останавливайте тест сразу, как только один вариант вышел вперёд: соотношение результатов ещё изменится. Дождитесь конца выбранного окна и проверьте, не было ли сбоев доставки, проблем со ссылкой или отсутствия товара.

Если результат неоднозначный, сохраните исходный текст. Следующий тест проведите с той же гипотезой на подходящем предложении. При этом не складывайте без разбора результаты разных акций: скидка на привычный товар и запуск новой услуги создают разные условия для покупки.

Повторное преимущество одного подхода помогает выбрать рабочий текст, но само по себе не доказывает статистическую значимость. Для строгого вывода нужен расчёт с учётом размера групп и числа целевых действий. Такой разбор особенно полезен, когда от результата зависит изменение всей цепочки сообщений.

Если переходов стало больше, а заказов нет, проверьте страницу и оформление покупки. Возможно, новый текст вызывает интерес, но обещание в SMS расходится с условиями на сайте. В этом случае следующий шаг — разобрать путь от сообщения до заказа, прежде чем снова переписывать SMS.

Типичные ошибки при A/B-тесте на маленькой базе

• Менять сразу несколько элементов. Оставьте одну правку, иначе не получится понять, что повлияло на отклик.
• Сравнивать только число заказов. Учитывайте размер групп и доставку, чтобы большая группа не получила преимущество в отчёте автоматически.
• Объявлять победителя по первым покупкам. Дождитесь срока, который выбрали до отправки.
• Отправлять варианты в разных условиях. Проверьте время, наличие товара и работу страницы для обеих групп.
• Считать отсутствие разницы провалом. Такой результат означает, что данных пока недостаточно или правка не дала заметного эффекта в этом тесте.

Когда вручную трудно связать вариант SMS с заказом, сначала опишите нужный отчёт: вариант сообщения, статус доставки и целевое действие. С этой схемой уже можно обсуждать интеграцию или задачу для аналитика. Она задаёт конкретный результат работы: увидеть, какой текст получил покупатель и что произошло после отправки.

Начните с действия на две минуты: откройте последний текст рассылки, выберите одно место для правки и запишите рядом гипотезу и главное действие покупателя. Пока не отправляйте сообщение. Сначала проверьте, сможете ли вы отдельно посчитать это действие для вариантов A и B.