Тесты инкрементальности

Тесты инкрементальности — это экспериментальный проект: проектируем корректный эксперимент (geo-holdout, выключение/включение, контрольные и тестовые группы), определяем метрики и необходимый размер/длительность для статистической мощности, проводим и анализируем результат — оцениваем инкрементальный прирост (lift) с доверительным интервалом и статзначимостью. В отличие от атрибуции и MMM (корреляционные оценки), эксперимент даёт наиболее близкую к причинной оценку эффекта. Честно про природу, это ключевое: даже корректный эксперимент даёт ВЕРОЯТНОСТНЫЙ результат с доверительным интервалом, а не точное число; вывод валиден для условий, аудитории и периода теста и не обязан в точности повториться в другом контексте — это не вечная гарантия. Честно про требования и цену метода: нужен реальный holdout — то есть осознанный отказ показать рекламу части аудитории/гео; это временная «недополученная» экспозиция, плата за чистоту измерения; нужны достаточный масштаб и трафик для значимости — на малых объёмах тест не даст вывода. Честно про дисциплину: нельзя «подсматривать» и останавливать тест на случайном скачке — это завышает ложные выводы; нужны заранее заданные размер и срок. Честно про суть: это измерение причинного эффекта, а НЕ ведение рекламы и НЕ гарантия роста — тест говорит, работает ли канал/кампания на самом деле, а решения и масштабирование делаете вы. Требования: возможность организовать holdout, доступ к данным. Важная граница: это инкрементальные эксперименты, а не атрибуция/MMM (корреляционные — отдельно, хорошо дополняют) и не ведение рекламы. Если масштаба/трафика нет или holdout невозможен — тест преждевременен; честно скажем. Представьте: вместо «кабинет приписывает каналу 100 продаж» вы узнаёте, сколько из них реально инкрементальны, а сколько случились бы и так. Базовая цена — от 35 000 ₽ за тест; зависит от дизайна, масштаба и длительности.

• Платите за «конверсии», которые произошли бы и без рекламы.
• Атрибуция и кабинеты переоценивают эффект каналов.
• Не знаете реальный причинный вклад кампании.
• Решения о масштабировании принимаете по корреляциям, а не по эффекту.

• Проектирование эксперимента (geo-holdout, контрольные/тестовые группы)
• Определение метрик, размера выборки и длительности для мощности
• Проведение и контроль чистоты теста
• Анализ инкрементального прироста (lift) с доверительным интервалом
• Оценка статистической значимости
• Отчёт с результатом, ограничениями и условиями валидности
• Разбор результатов с вами
• Рекомендации по следующим тестам

• Оценка реального причинного прироста от рекламы (с интервалом)
• Понятно, что работает на самом деле, а что приписано
• Решения о масштабировании на эффекте, а не на корреляции
• Основа для следующих тестов (рост и ведение — отдельно)

• Уточняем гипотезу, метрики, возможность holdout и масштаб; планируем дизайн
• Запускаем эксперимент, контролируем чистоту, не «подсматриваем»
• Анализируем lift и значимость, оформляем отчёт, разбираем с вами

• Тест даст точный и вечный ответ?

  Нет. Даже корректный эксперимент даёт вероятностный результат с доверительным интервалом, валидный для условий, аудитории и периода теста. В другом контексте эффект может отличаться — это не вечная гарантия, а лучшая на сегодня причинная оценка.

• Holdout — это потерянные продажи?

  Частично да: holdout означает осознанно не показать рекламу части аудитории/гео на время теста — это «недополученная» экспозиция, плата за чистоту измерения. Зато вы перестаёте платить за неинкрементальные конверсии в будущем. Нужен достаточный масштаб для значимости.

• Чем это лучше атрибуции и MMM?

  Атрибуция и MMM — корреляционные оценки. Эксперимент даёт наиболее близкую к причинной оценку эффекта. Лучше всего они работают в связке: эксперименты проверяют, атрибуция/MMM масштабируют картину. Тест сам по себе рекламу не ведёт и рост не гарантирует.