Minden monetizálási csapat ismeri az érzést: biztos vagy benne, hogy egy waterfall-változtatás javítani fogja a bevételt, de abban a pillanatban, amikor élesíted, visszatartod a lélegzeted. Mi van, ha visszafelé sül el? Mi van, ha a fill rate visszaesik? Mi van, ha éppen most került a vállalatodnak ezer dollárokba, amíg észreveszed és visszaállítod?
Ez a félelem nem irracionális — ez az oka annak, hogy a legtöbb publisher hónapokig érintetlenül hagyja a waterfall-konfigurációit, jelentős bevételt hagyva az asztalon. A megoldás nem az, hogy abbahagyd a változtatásokat. A megoldás az, hogy rendesen teszteld őket, mielőtt véglegesen elköteleződnél mellettük.
Miért más a waterfall tesztelése
Egy waterfall A/B tesztelése nem olyan, mint egy gombszín vagy onboarding flow tesztelése. A hirdetési bevétel természeténél fogva zajos — óránként, a hét napja, évszak és még tucatnyi más tényező szerint ingadozik. Egy változtatás, amely hétfőn 10 százalékos javulásnak tűnik, teljes mértékben magyarázható normál heti ingadozással. És ellentétben a termék A/B tesztekkel, ahol egy rossz variáns csak kissé rosszabb felhasználói élményt okoz, egy rossz waterfall-variáns naponta több ezer dollár elveszett bevételt jelenthet.
A traffic split megközelítés
A waterfall-változtatások tesztelésének legbiztonságosabb módja, ha szétosztod a forgalmat a jelenlegi konfiguráció (control) és a javasolt változtatás (variant) között. A legtöbb mediation platform — beleértve az AppLovin MAX-ot és a Unity LevelPlay-t — támogatja a traffic segmentation-t, amely lehetővé teszi, hogy a felhasználók egy százalékát egy másik waterfall-konfigurációra irányítsd.
Hogyan állíts be tiszta tesztet
Kezdd 90/10 felosztással: a forgalom 90 százaléka a jelenlegi waterfalleden folytatódik, és 10 százalék kapja az új konfigurációt. Ez a forgalom 10 százalékára korlátozza a kockázatot, miközben elegendő adatot nyújt a jelentős különbségek észleléséhez. Futtasd a tesztet legalább hét napig, hogy befogd a hirdetési kereslet heti ciklikusságát.
Mit mérj
Ne csak az eCPM-et mérd. Kövesd nyomon ezeket a mutatókat mindkét csoportra: az ezer naponta aktív felhasználóra jutó teljes bevételt (revenue per mille DAU), a fill rate-et, az átlagos eCPM-et, a sessiononkénti impression-öket és — ami kritikus — a felhasználók megtartását. Egy waterfall-változtatás, amely 15 százalékkal növeli az eCPM-et, de növeli a hirdetésbetöltési időt és 2 százalékkal csökkenti a 7 napos retentiont, nettó veszteség.
A holdout csoport módszere
Jelentősebb változtatásoknál — például egy demand source hozzáadása vagy eltávolítása, vagy az egész waterfall átalakítása — használj holdout csoportot. Tartsd a forgalom 20 százalékát a régi konfiguráción tartósan (vagy a teszt időtartamára), és gördítsd ki az új konfigurációt a fennmaradó 80 százalékra. Ez tartós alapvonalat ad az összehasonlításhoz, ami különösen értékes olyan változtatásoknál, amelyek hatása hetekbe telhet, mire teljesen kibontakozik.
Fokozatos bevezetés
Amint egy teszt 10 százalékon pozitív eredményeket mutat, ne toljuk azonnal 100 százalékra. Növeld 25 százalékra néhány napra, aztán 50-re, aztán 75-re, aztán 100-ra. Minden lépés ellenőrzőpontot ad, hogy megerősítsd: a javulás megmarad magasabb forgalomszint mellett is, és elkapj minden olyan problémát, ami csak nagyobb méretben jelentkezik — például egy demand partner, aki alacsony volumenen jól teljesít, de nem tudja tartani a fill rate-et több forgalom esetén.
Azok a publisherek, akik következetesen növelik hirdetési bevételüket, nem azok, akik a legmerészebb változtatásokat hajtják végre — ők azok, akik minden változtatást módszeresen tesztelnek és csak a győztesek mellett köteleződnek el. Kis, validált fejlesztések idővel hatalmas nyereséggé gyűlnek össze.
Gyakori tesztelési hibák
Túl sok változó egyidejű tesztelése
Tesztenként egy dolgot változtass. Ha egyszerre állítod be a floor price-okat, adsz hozzá új demand source-ot és rendezed át a waterfall prioritást, az eredményt nem tudod egyetlen változtatásnak sem tulajdonítani. Izold a változókat.
A tesztek túl korai befejezése
A hirdetési bevételnek jelentős a hét napja hatása. Egy hétfőtől szerdáig futó teszt más képet fog adni, mint egy olyan, amely egy teljes hétvégét is magában foglal. Mindig futtasd a teszteket legalább hét teljes napig, ideálisan tizennégy napig.
A statistical significance figyelmen kívül hagyása
Egy 5 százalékos bevételnövekedés egy kis forgalmi szegmensen zaj lehet. Mielőtt győztest hirdetnél, győződj meg róla, hogy a különbség statisztikailag szignifikáns — a legtöbb mediation platform confidence intervalokat biztosít, vagy használhatsz standard statisztikai eszközöket a hitelesítéshez.
A folyamat automatizálása
Egy managed monetization partner folyamatos waterfall teszteket futtathat a nevedben, automatizált rendszerek segítségével, amelyek szétosztják a forgalmat, mérik az eredményeket és népszerűsítik a győztes konfigurációkat — mindezt anélkül, hogy a mérnöki csapatodnak tesztinfrastruktúrát kellene beállítania és kezelnie. Ez alkalmi manuális folyamatból folyamatos fejlesztési motorrá alakítja a waterfall-optimalizálást.