Katra monetizācijas komanda zina šo sajūtu: esat pārliecināti, ka waterfall izmaiņas uzlabos ieņēmumus, bet tajā brīdī, kad laižat to produkcijā, aizturat elpu. Ko darīt, ja tas atsitīsies pretī? Ko darīt, ja fill rate nokritīs? Ko darīt, ja tikko esat izmaksājuši savam uzņēmumam tūkstošus dolāru tajā laikā, kamēr pamanīsiet un atgriezīsiet?
Šīs bailes nav iracionālas — tas ir iemesls, kāpēc lielākā daļa izdevēju atstāj savas waterfall konfigurācijas neaiztiktas mēnešiem ilgi, atstājot būtiskus ieņēmumus uz galda. Risinājums nav pārtraukt veikt izmaiņas. Risinājums ir tās pareizi iztestēt, pirms pilnībā tās ieviest.
Kāpēc waterfall testēšana atšķiras
Waterfall A/B tests nav tas pats, kas pogas krāsas vai onboarding plūsmas testēšana. Reklāmas ieņēmumi pēc savas būtības ir trokšņaini — tie svārstās atkarībā no stundas, nedēļas dienas, sezonas un desmitiem citu faktoru. Izmaiņas, kas pirmdien izskatās pēc 10 procentu uzlabojuma, var pilnībā izskaidrot ar parasto nedēļas variāciju. Un atšķirībā no produkta A/B testiem, kur slikta variant rada tikai nedaudz sliktāku lietotāja pieredzi, slikta waterfall variant var nozīmēt tūkstošus dolāru zaudētu ieņēmumu dienā.
Trafika sadalīšanas pieeja
Drošākais veids, kā testēt waterfall izmaiņas, ir sadalīt trafiku starp pašreizējo konfigurāciju (control) un ierosinātajām izmaiņām (variant). Lielākā daļa mediation platformu — ieskaitot AppLovin MAX un Unity LevelPlay — atbalsta trafika segmentāciju, kas ļauj novirzīt noteiktu lietotāju procentu uz citu waterfall konfigurāciju.
Kā izveidot tīru testu
Sāciet ar 90/10 sadalījumu: 90 procenti trafika turpina izmantot pašreizējo waterfall, un 10 procenti saņem jauno konfigurāciju. Tas ierobežo jūsu lejupvērsto risku līdz 10 procentiem trafika, vienlaikus sniedzot pietiekamus datus, lai atklātu jēgpilnas atšķirības. Veiciet testu vismaz septiņas dienas, lai aptvertu nedēļas cikliskumu reklāmas pieprasījumā.
Ko mērīt
Nemēriet tikai eCPM. Izsekojiet šīs metrikas abām grupām: kopējos ieņēmumus uz tūkstoti ikdienas aktīvo lietotāju (revenue per mille DAU), fill rate, vidējo eCPM, impression uz sesiju un — kas ir kritiski — lietotāju retention. Waterfall izmaiņas, kas paceļ eCPM par 15 procentiem, bet palielina reklāmas ielādes laiku un samazina 7 dienu retention par 2 procentiem, kopumā ir negatīvas.
Holdout grupas metode
Nozīmīgākām izmaiņām — piemēram, pievienojot vai noņemot demand source, vai pārstrukturējot visu waterfall — izmantojiet holdout grupu. Saglabājiet 20 procentus trafika vecajā konfigurācijā pastāvīgi (vai testa ilgumam) un izlaidiet jauno konfigurāciju atlikušajiem 80 procentiem. Tas sniedz pastāvīgu atskaites punktu salīdzināšanai, kas ir īpaši vērtīgi izmaiņām, kuru ietekme var pilnībā izpausties tikai pēc nedēļām.
Pakāpeniska ieviešana
Kad tests parāda pozitīvus rezultātus pie 10 procentiem, nekavējoties nepārejiet uz 100 procentiem. Palieliniet līdz 25 procentiem vēl dažas dienas, tad 50, tad 75, tad 100. Katrs solis sniedz jums checkpoint, lai pārliecinātos, ka uzlabojums saglabājas pie lielākiem trafika apjomiem, un lai pamanītu problēmas, kas parādās tikai lielā mērogā — piemēram, demand partner, kas labi darbojas pie maza apjoma, bet nespēj saglabāt fill rate, ja tam tiek dots vairāk trafika.
Izdevēji, kas konsekventi palielina savus reklāmas ieņēmumus, nav tie, kas veic visdrosmīgākās izmaiņas — tie ir tie, kas katru izmaiņu testē metodiski un apņemas tikai uzvarētājiem. Nelieli, apstiprināti uzlabojumi laika gaitā apvienojas milzīgos ieguvumos.
Biežas testēšanas kļūdas
Pārāk daudzu mainīgo testēšana vienlaicīgi
Mainiet vienu lietu uz testu. Ja vienlaicīgi pielāgojat floor prices, pievienojat jaunu demand source un pārkārtojat waterfall prioritāti, jūs nevarat piešķirt rezultātu nevienai konkrētai izmaiņai. Izolējiet mainīgos.
Testu pārāk agra pabeigšana
Reklāmas ieņēmumiem ir būtiska nedēļas dienas ietekme. Tests, kas darbojas no pirmdienas līdz trešdienai, sniegs jums atšķirīgu ainu nekā tāds, kas ietver pilnu nedēļas nogali. Vienmēr veiciet testus vismaz septiņas pilnas dienas, ideāli četrpadsmit.
Statistical significance ignorēšana
5 procentu ieņēmumu uzlabojums mazā trafika segmentā var būt troksnis. Pirms uzvarētāja pasludināšanas pārliecinieties, ka atšķirība ir statistically significant — lielākā daļa mediation platformu nodrošina confidence intervals, vai arī varat izmantot standarta statistikas rīkus, lai pārbaudītu.
Procesa automatizēšana
Pārvaldīts monetizācijas partneris var jūsu vārdā veikt nepārtrauktus waterfall testus, izmantojot automatizētas sistēmas, kas sadala trafiku, mēra rezultātus un ievieš uzvarošās konfigurācijas — un tas viss, neprasot, lai jūsu inženieru komanda izveidotu un pārvaldītu testēšanas infrastruktūru. Tas pārvērš waterfall optimizāciju no reizējā manuālā procesa par nepārtrauktas uzlabošanas dzinēju.