Әр монетизация командасы бұл сезімді біледі: waterfall өзгерісі табысты арттыратынына сенімдісіз, бірақ оны өндіріске шығарған сәтте тынысыңызды ұстайсыз. Егер ол керісінше нәтиже берсе ше? Егер fill rate құласа ше? Егер сіз компанияңызға мыңдаған доллар шығынды осыны байқап, қайтарғанша тигізсеңіз ше?
Бұл қорқыныш орынсыз емес — ол көптеген баспагерлердің өз waterfall конфигурацияларын айлар бойы қозғамай қалдыратынының себебі, осылайша айтарлықтай табысты үстелде қалдырады. Шешім — өзгертулерді тоқтату емес. Шешім — оларды толық енгізбес бұрын дұрыс тестілеу.
Waterfall тестілеу неге басқаша
Waterfall-ға A/B тест жасау батырма түсін немесе onboarding ағынын тестілеу сияқты емес. Жарнама табысы табиғи түрде шулы — ол сағат, апта күні, маусым және ондаған басқа факторға қарай ауытқиды. Дүйсенбіде 10 пайыздық жақсару сияқты көрінген өзгеріс толықтай қалыпты апталық вариациямен түсіндірілуі мүмкін. Ал өнімнің A/B тестерінен айырмашылығы, нашар variant нашар пайдаланушы тәжірибесін тудыратын болса, нашар waterfall variant-ы күніне мыңдаған доллар жоғалтылған табысты білдіруі мүмкін.
Трафикті бөлу тәсілі
Waterfall өзгерістерін тестілеудің ең қауіпсіз жолы — трафикті ағымдағы конфигурация (control) мен ұсынылған өзгеріс (variant) арасында бөлу. Mediation платформаларының көпшілігі — соның ішінде AppLovin MAX және Unity LevelPlay — трафик сегментациясын қолдайды, ол пайдаланушылардың белгілі пайызын басқа waterfall конфигурациясына бағыттауға мүмкіндік береді.
Таза тестті қалай орнату керек
90/10 бөлуден бастаңыз: трафиктің 90 пайызы ағымдағы waterfall-да қалады, ал 10 пайызы жаңа конфигурацияны алады. Бұл сіздің тәуекеліңізді трафиктің 10 пайызымен шектейді, сонымен бірге маңызды айырмашылықтарды анықтау үшін жеткілікті деректер береді. Жарнама сұранысындағы апталық циклділікті ұстау үшін тестті кем дегенде жеті күн жүргізіңіз.
Нені өлшеу керек
Тек eCPM-ды өлшемеңіз. Осы метрикаларды екі топ үшін бақылаңыз: мың күнделікті белсенді пайдаланушыға шаққандағы жалпы табыс (revenue per mille DAU), fill rate, орташа eCPM, сессияға шаққандағы impression-дер және — ең маңыздысы — пайдаланушыларды ұстап қалу. eCPM-ді 15 пайызға көтеріп, бірақ жарнама жүктеу уақытын ұзартып, 7 күндік ұстап қалуды 2 пайызға төмендететін waterfall өзгерісі жалпы алғанда теріс.
Holdout тобы әдісі
Неғұрлым маңызды өзгерістер үшін — demand source қосу немесе алып тастау, не бүкіл waterfall-ды қайта құрылымдау сияқты — holdout тобын пайдаланыңыз. Трафиктің 20 пайызын ескі конфигурацияда тұрақты түрде (немесе тест ұзақтығына) ұстаңыз және жаңа конфигурацияны қалған 80 пайызға шығарыңыз. Бұл салыстыру үшін тұрақты базалық мәнді береді, бұл әсіресе әсері апталар бойы толық көрінуі мүмкін өзгерістер үшін құнды.
Біртіндеп енгізу
Тест 10 пайызда оң нәтиже көрсеткенде, бірден 100 пайызға көтермеңіз. Тағы бірнеше күнге 25 пайызға дейін, содан кейін 50, содан кейін 75, содан кейін 100-ге дейін арттырыңыз. Әрбір қадам сізге жақсарудың жоғары трафик көлемінде де сақталатынын растау үшін checkpoint береді және тек ауқымда пайда болатын мәселелерді ұстауға көмектеседі — мысалы, аз көлемде жақсы жұмыс істейтін, бірақ көбірек трафик берілгенде fill rate-ті сақтай алмайтын demand partner.
Жарнама табысын тұрақты өсіретін баспагерлер ең батыл өзгерістер жасайтындар емес — олар әрбір өзгерісті әдістемелік түрде тестілеп, тек жеңімпаздарға ғана сенім артатындар. Кішкентай, расталған жақсартулар уақыт өте келе үлкен пайдаға жиналады.
Жиі кездесетін тестілеу қателері
Бір тестте тым көп айнымалыны тестілеу
Бір тестке бір нәрсені ғана өзгертіңіз. Егер сіз бір мезгілде floor price-тарды реттеп, жаңа demand source қосып, waterfall басымдығын қайта орналастырсаңыз, нәтижені ешбір нақты өзгеріске жатқыза алмайсыз. Айнымалыларды оқшаулаңыз.
Тестерді тым ерте аяқтау
Жарнама табысының апта күніне байланысты айтарлықтай әсері бар. Дүйсенбіден сәрсенбіге дейін жұмыс істейтін тест сізге толық демалыс күндерін қамтитын тестпен салыстырғанда басқаша көріністі береді. Тесттерді әрқашан кем дегенде жеті толық күн, ең дұрысы он төрт күн жүргізіңіз.
Statistical significance-ты елемеу
Шағын трафик сегментіндегі 5 пайыздық табыс өсімі шу болуы мүмкін. Жеңімпазды жарияламас бұрын, айырмашылықтың statistically significant екеніне көз жеткізіңіз — mediation платформаларының көпшілігі confidence intervals ұсынады немесе тексеру үшін стандартты статистикалық құралдарды пайдалана аласыз.
Процесті автоматтандыру
Басқарылатын монетизация серіктесі сіздің атыңыздан үздіксіз waterfall тесттерін жүргізе алады, трафикті бөлетін, нәтижелерді өлшейтін және жеңімпаз конфигурацияларды енгізетін автоматтандырылған жүйелерді пайдалана отырып — мұның бәрі сіздің инженерлік командаңыздан тест инфрақұрылымын орнатуды талап етпейді. Бұл waterfall оңтайландыруын анда-санда қолмен жасалатын процестен үздіксіз жетілдіру қозғалтқышына айналдырады.