Каждая команда монетизации знает это чувство: вы уверены, что изменение waterfall улучшит доход, но в момент запуска в продакшн вы задерживаете дыхание. А что если всё пойдёт не так? Что если упадёт fill rate? Что если вы только что обошлись вашей компании в тысячи долларов за то время, которое требуется, чтобы заметить проблему и откатиться?
Этот страх не иррационален — именно поэтому большинство издателей месяцами не трогают свои конфигурации waterfall, оставляя значительный доход на столе. Решение не в том, чтобы перестать вносить изменения. Решение в том, чтобы правильно их тестировать, прежде чем фиксировать.
Почему тестирование waterfall отличается
A/B-тестирование waterfall — это не то же самое, что тест цвета кнопки или онбординг-флоу. Рекламный доход по своей природе шумный — он колеблется в зависимости от часа, дня недели, сезона и десятков других факторов. Изменение, которое выглядит как 10-процентное улучшение в понедельник, может быть полностью объяснено нормальной недельной вариацией. И в отличие от продуктовых A/B-тестов, где плохой вариант даёт чуть худший пользовательский опыт, плохой вариант waterfall может означать тысячи долларов потерянного дохода в день.
Подход с разделением трафика
Самый безопасный способ тестировать изменения waterfall — разделить трафик между текущей конфигурацией (control) и предлагаемым изменением (variant). Большинство платформ mediation — включая AppLovin MAX и Unity LevelPlay — поддерживают сегментацию трафика, позволяющую направлять процент пользователей в другую конфигурацию waterfall.
Как настроить чистый тест
Начните с разделения 90/10: 90 процентов трафика продолжают работать на текущем waterfall, а 10 процентов получают новую конфигурацию. Это ограничивает риск снижения до 10 процентов трафика, одновременно давая достаточно данных для обнаружения значимых различий. Запустите тест минимум на семь дней, чтобы захватить недельную цикличность рекламного спроса.
Что измерять
Не измеряйте только eCPM. Отслеживайте эти метрики для обеих групп: общий доход на тысячу ежедневно активных пользователей (доход per mille DAU), fill rate, средний eCPM, показы за сессию и — что критически важно — удержание пользователей. Изменение waterfall, которое поднимает eCPM на 15 процентов, но увеличивает время загрузки рекламы и снижает 7-дневное удержание на 2 процента, является чистым минусом.
Метод группы holdout
Для более значительных изменений — таких как добавление или удаление источника спроса, или реструктуризация всего waterfall — используйте группу holdout. Оставьте 20 процентов трафика на старой конфигурации постоянно (или на время теста) и выкатите новую конфигурацию на оставшиеся 80 процентов. Это даёт вам постоянную базовую линию для сравнения, что особенно ценно для изменений, влияние которых может материализоваться неделями.
Инкрементальные выкаты
Как только тест показывает положительные результаты на 10 процентах, не выкатывайте сразу на 100 процентов. Увеличьте до 25 процентов ещё на несколько дней, затем 50, затем 75, затем 100. Каждый шаг даёт вам контрольную точку, чтобы убедиться, что улучшение сохраняется при больших объёмах трафика, и чтобы поймать любые проблемы, которые проявляются только при масштабе — например, партнёра спроса, который хорошо работает при малом объёме, но не удерживает fill rate при большем трафике.
Издатели, которые последовательно наращивают рекламный доход — это не те, кто вносит самые смелые изменения, а те, кто тестирует каждое изменение методично и фиксирует только победителей. Небольшие валидированные улучшения складываются в огромные выгоды со временем.
Типичные ошибки тестирования
Тестирование слишком многих переменных сразу
Меняйте одну вещь за тест. Если вы одновременно подгоните floor-цены, добавите новый источник спроса и перераспределите приоритет waterfall, вы не сможете приписать результат какому-либо отдельному изменению. Изолируйте переменные.
Завершение тестов слишком рано
Рекламный доход имеет значительные эффекты дня недели. Тест, который идёт с понедельника по среду, даст вам другую картину, чем тот, который включает полные выходные. Всегда запускайте тесты минимум на семь полных дней, идеально на четырнадцать.
Игнорирование статистической значимости
5-процентное улучшение дохода на малом сегменте трафика может быть шумом. Прежде чем объявлять победителя, убедитесь, что разница статистически значима — большинство платформ mediation предоставляют интервалы доверия, или вы можете использовать стандартные статистические инструменты для проверки.
Автоматизация процесса
Управляемый партнёр по монетизации может проводить непрерывные тесты waterfall от вашего имени, используя автоматизированные системы, которые разделяют трафик, измеряют результаты и продвигают выигрышные конфигурации — всё это без требования к вашей инженерной команде настраивать и управлять тестовой инфраструктурой. Это превращает оптимизацию waterfall из случайного ручного процесса в непрерывный двигатель улучшений.