Iga monetiseerimismeeskond tunneb seda tunnet: olete kindel, et waterfall'i muudatus parandab tulu, aga hetkel, kui selle elusse lükkate, hoiate hinge kinni. Mis siis, kui see läheb vastupidi? Mis siis, kui fill rate langeb? Mis siis, kui te just maksate oma ettevõttele tuhandeid dollareid selle aja jooksul, mis kulub probleemi märkamiseks ja tagasivõtmiseks?
See hirm pole irratsionaalne — see on põhjus, miks enamik publisher'eid jätavad oma waterfall'i konfiguratsioonid kuudeks puutumata, jättes olulise tulu lauale. Lahendus pole muudatuste tegemise lõpetamine. Lahendus on neid korralikult testida, enne kui nendega lõplikult kaasa minnakse.
Miks waterfall'i testimine on erinev
Waterfall'i A/B testimine pole nagu nupu värvi või onboarding flow testimine. Reklaamitulu on oma olemuselt mürarikas — see kõigub tunni, nädalapäeva, hooaja ja kümnete muude tegurite järgi. Muudatus, mis esmaspäeval näeb välja nagu 10-protsendiline paranemine, võib olla täielikult seletatav normaalse nädalase kõikumisega. Ja erinevalt toote A/B testidest, kus halb variant põhjustab veidi kehvema kasutajakogemuse, võib halb waterfall variant tähendada päevas tuhandeid dollareid kaotatud tulu.
Liikluse jagamise lähenemine
Kõige turvalisem viis waterfall'i muudatuste testimiseks on jagada oma liiklus praeguse konfiguratsiooni (control) ja pakutud muudatuse (variant) vahel. Enamik mediation platvorme — sealhulgas AppLovin MAX ja Unity LevelPlay — toetavad traffic segmentation'it, mis võimaldab teil suunata teatud protsendi kasutajaid teistsugusele waterfall'i konfiguratsioonile.
Kuidas seadistada puhas test
Alustage 90/10 jagamisega: 90 protsenti liiklusest jätkab teie praeguses waterfall'is ja 10 protsenti saab uue konfiguratsiooni. See piirab teie allapoole riski 10 protsendiga liiklusest ning annab samal ajal piisavalt andmeid oluliste erinevuste tuvastamiseks. Käivitage test vähemalt seitse päeva, et haarata reklaaminõudluses esinevat nädalast tsüklilisust.
Mida mõõta
Ärge mõõtke ainult eCPM-i. Jälgige mõlema grupi puhul neid mõõdikuid: kogutulu tuhande päevaselt aktiivse kasutaja kohta (revenue per mille DAU), fill rate, keskmine eCPM, impression'id sessiooni kohta ja — mis on kriitilise tähtsusega — kasutajate hoidmine. Waterfall'i muudatus, mis tõstab eCPM-i 15 protsenti, kuid suurendab reklaami laadimisaega ja langetab 7-päeva retention'it 2 protsenti, on netokaotus.
Holdout-grupi meetod
Suuremate muudatuste puhul — näiteks demand source'i lisamine või eemaldamine või kogu waterfall'i ümberstruktureerimine — kasutage holdout-gruppi. Hoidke 20 protsenti oma liiklusest püsivalt (või testi kestuse ajaks) vanas konfiguratsioonis ja rulluge uus konfiguratsioon välja ülejäänud 80 protsendile. See annab teile püsiva võrdlusaluse, mis on eriti väärtuslik muudatuste puhul, mille mõju võib täielikuks avaldumiseks võtta nädalaid.
Järk-järguline kasutuselevõtt
Kui test näitab 10 protsendi juures positiivseid tulemusi, ärge lükake kohe 100 protsendini. Tõstke veel paariks päevaks 25 protsendini, siis 50, siis 75, siis 100. Iga samm annab teile kontrollpunkti veendumaks, et paranemine püsib ka suuremate liiklusemahtude juures, ja probleemide tabamiseks, mis avalduvad ainult mastaabis — näiteks demand partner, kes madala mahu juures töötab hästi, kuid ei suuda rohkema liikluse korral fill rate'i hoida.
Publisher'id, kes oma reklaamitulu järjepidevalt kasvatavad, pole need, kes teevad kõige julgemaid muudatusi — nad on need, kes testivad iga muudatust metoodiliselt ja pühenduvad ainult võitjatele. Väikesed, valideeritud paranemised kuhjuvad aja jooksul massiivseks võiduks.
Levinud testimisvead
Liiga paljude muutujate korraga testimine
Muutke ühe testi kohta ainult üks asi. Kui reguleerite üheaegselt floor price'e, lisate uue demand source'i ja järjestate waterfall'i prioriteedi ümber, ei saa te tulemust omistada ühelegi üksikule muudatusele. Isoleerige muutujad.
Testide liiga varajane lõpetamine
Reklaamituludel on olulised nädalapäeva efektid. Test, mis jookseb esmaspäevast kolmapäevani, annab teile teistsuguse pildi kui selline, mis hõlmab kogu nädalavahetust. Käivitage teste alati vähemalt seitse täispäeva, ideaaljuhul neliteist.
Statistilise olulisuse ignoreerimine
5-protsendiline tulude paranemine väikese liiklussegmendi peal võib olla müra. Enne võitja väljakuulutamist veenduge, et erinevus on statistiliselt oluline — enamik mediation platvorme pakub confidence interval'e, või võite kontrollimiseks kasutada standardseid statistilisi tööriistu.
Protsessi automatiseerimine
Managed monetization partner saab teie nimel läbi viia pidevaid waterfall'i teste, kasutades automatiseeritud süsteeme, mis jagavad liiklust, mõõdavad tulemusi ja edendavad võitvaid konfiguratsioone — ilma et teie inseneride meeskond peaks testimise infrastruktuuri üles seadma ja haldama. See muudab waterfall'i optimeerimise aeg-ajalt toimuvast käsitsi protsessist pidevaks paranemismootoriks.