Кожна команда монетизації знає це відчуття: ви впевнені, що зміна waterfall покращить дохід, але в момент запуску затримуєте подих. А якщо це дасть зворотний ефект? А якщо fill rate впаде? А якщо ви щойно коштували компанії тисячі доларів за той час, який потрібен, щоб це помітити і відкотити?
Цей страх не ірраціональний — саме тому більшість видавців залишають свої конфігурації waterfall недоторканими місяцями, залишаючи на столі значний дохід. Рішення не в тому, щоб перестати вносити зміни. Воно в тому, щоб належним чином тестувати їх перед тим, як закріпити.
Чому тестування waterfall відрізняється
A/B тестування waterfall — це не те саме, що тестування кольору кнопки або потоку онбордингу. Рекламний дохід за своєю природою шумний — він коливається за годиною, днем тижня, сезоном та десятками інших факторів. Зміна, яка виглядає як поліпшення на 10 відсотків у понеділок, може повністю пояснюватися звичайною тижневою варіацією. І на відміну від продуктових A/B тестів, де поганий variant спричиняє трохи гірший користувацький досвід, поганий waterfall variant може означати тисячі доларів втраченого доходу на день.
Підхід розділення трафіку
Найбезпечніший спосіб тестувати зміни waterfall — розділити ваш трафік між поточною конфігурацією (control) та запропонованою зміною (variant). Більшість mediation платформ — включаючи AppLovin MAX та Unity LevelPlay — підтримують сегментацію трафіку, яка дозволяє направляти відсоток користувачів до іншої конфігурації waterfall.
Як налаштувати чистий тест
Почніть із розділення 90/10: 90 відсотків трафіку продовжує працювати на поточному waterfall, а 10 відсотків отримують нову конфігурацію. Це обмежує ризик падіння до 10 відсотків трафіку, даючи достатньо даних для виявлення значущих відмінностей. Запускайте тест щонайменше сім днів, щоб охопити тижневу циклічність у рекламному попиті.
Що вимірювати
Не вимірюйте лише eCPM. Відстежуйте ці метрики для обох груп: загальний дохід на тисячу щоденних активних користувачів (revenue per mille DAU), fill rate, середній eCPM, покази за сесію та — критично важливо — утримання користувачів. Зміна waterfall, яка піднімає eCPM на 15 відсотків, але збільшує час завантаження реклами і знижує 7-денне утримання на 2 відсотки, є чистим негативом.
Метод holdout-групи
Для суттєвіших змін — як-от додавання або видалення джерела попиту, або реструктуризація всього вашого waterfall — використовуйте holdout-групу. Залиште 20 відсотків трафіку на старій конфігурації постійно (або на час тесту) і розгорніть нову конфігурацію на решту 80 відсотків. Це дає вам стійку базову лінію для порівняння, що особливо цінно для змін, вплив яких може проявитися повністю лише через тижні.
Поетапне розгортання
Коли тест показує позитивні результати на 10 відсотках, не переходьте одразу до 100 відсотків. Збільшуйте до 25 відсотків ще на кілька днів, потім до 50, потім 75, потім 100. Кожен крок дає вам контрольну точку для перевірки того, що поліпшення зберігається на вищих обсягах трафіку, і для виявлення будь-яких проблем, які виникають лише на масштабі — як-от demand partner, який добре працює на малих обсягах, але не може підтримувати fill rate, коли йому дають більше трафіку.
Видавці, які стабільно нарощують рекламний дохід, — це не ті, хто робить найсміливіші зміни, а ті, хто тестує кожну зміну методично і зобов'язується лише переможцям. Маленькі, підтверджені поліпшення з часом складаються у масивні досягнення.
Поширені помилки тестування
Тестування надто багатьох змінних одночасно
Змінюйте одну річ за тест. Якщо ви одночасно коригуєте floor-ціни, додаєте нове джерело попиту та перевпорядковуєте пріоритет waterfall, ви не можете приписати результат жодній окремій зміні. Ізолюйте змінні.
Завершення тестів занадто рано
Рекламний дохід має значні ефекти дня тижня. Тест, який працює з понеділка по середу, дасть інакшу картину, ніж той, що включає повний вихідний. Завжди запускайте тести щонайменше на сім повних днів, в ідеалі — на чотирнадцять.
Ігнорування статистичної значущості
5-відсоткове поліпшення доходу на малому сегменті трафіку може бути шумом. Перш ніж оголошувати переможця, переконайтеся, що різниця статистично значуща — більшість mediation платформ надають confidence interval, або ви можете використовувати стандартні статистичні інструменти для перевірки.
Автоматизація процесу
Керований партнер з монетизації може проводити безперервні тести waterfall від вашого імені, використовуючи автоматизовані системи, які розділяють трафік, вимірюють результати та просувають конфігурації-переможці — усе це без необхідності, щоб ваша engineering команда налаштовувала та керувала тестовою інфраструктурою. Це перетворює оптимізацію waterfall з епізодичного ручного процесу на двигун безперервного поліпшення.