Har bir monetization jamoasi bu hisni biladi: siz waterfall o'zgarishi daromadni yaxshilashiga ishonchingiz komil, lekin uni jonli ravishda ishga tushirgan paytingizda nafasingizni ushlaysiz. Agar u aksincha ta'sir qilsa-chi? Agar fill rate pasayib ketsa-chi? Agar siz uni sezib va qaytarish uchun kerak bo'lgan vaqt ichida kompaniyangizga minglab dollar zarar yetkazgan bo'lsangiz-chi?
Bu qo'rquv asossiz emas — aynan shuning uchun ko'pchilik publishers o'zlarining waterfall konfiguratsiyalarini oylar davomida o'zgartirmasdan qoldiradi va stolda katta daromadni qoldiradi. Yechim o'zgarishlarni qilishni to'xtatish emas. U ularni bajarishdan oldin to'g'ri test qilishdir.
Nima uchun waterfall testi boshqacha
Waterfall'ni A/B test qilish tugma rangini test qilishdek emas. Reklama daromadi tabiiy ravishda shovqinli — u soat, hafta kuni, mavsum va o'nlab boshqa omillarga qarab o'zgaradi. Dushanba kuni 10 foizlik yaxshilanish butunlay normal haftalik o'zgarish bilan tushuntirilishi mumkin. Mahsulot A/B tests'laridan farqli o'laroq, yomon waterfall variant kuniga minglab dollar yo'qotilgan daromadni anglatishi mumkin.
Trafikni bo'lish usuli
Waterfall o'zgarishlarini test qilishning eng xavfsiz usuli trafikni joriy konfiguratsiya (control) va taklif etilgan o'zgarish (variant) o'rtasida bo'lishdir. Ko'pchilik mediation platformalari — jumladan AppLovin MAX va Unity LevelPlay — foydalanuvchilarning ma'lum foizini boshqa waterfall konfiguratsiyasiga yo'naltirishga imkon beruvchi traffic segmentation'ni qo'llab-quvvatlaydi.
Qanday qilib toza test o'rnatish
90/10 bo'lishdan boshlang: trafikning 90 foizi joriy waterfall'ingizda davom etadi va 10 foiz yangi konfiguratsiyani oladi. Bu sizning pastlik xavfingizni trafikning 10 foiziga cheklaydi va shu bilan birga ma'noli farqlarni aniqlash uchun yetarli ma'lumotlarni beradi. Reklama talabidagi haftalik davriylikni tutib olish uchun testni kamida yetti kun davomida o'tkazing.
Nimani o'lchash kerak
Faqat eCPM'ni o'lchamang. Ikkala guruh uchun quyidagi ko'rsatkichlarni kuzating: har ming kunlik faol foydalanuvchi uchun umumiy daromad (revenue per mille DAU), fill rate, o'rtacha eCPM, sessiya uchun impressions va — eng muhimi — foydalanuvchi saqlanishi. eCPM'ni 15 foizga ko'taruvchi, lekin reklama yuklash vaqtini oshiradigan va 7 kunlik retention'ni 2 foizga tushiradigan waterfall o'zgarishi yalpi salbiy.
Holdout guruhi usuli
Muhimroq o'zgarishlar uchun — masalan, demand source qo'shish yoki olib tashlash, yoki butun waterfall'ni qayta qurish — holdout guruhidan foydalaning. Trafikning 20 foizini doimiy ravishda (yoki test davomida) eski konfiguratsiyada saqlang va yangi konfiguratsiyani qolgan 80 foizga yoyib chiqing. Bu sizga solishtirish uchun barqaror asos beradi, bu ayniqsa ta'sirlari to'liq namoyon bo'lishi uchun haftalar kerak bo'lishi mumkin bo'lgan o'zgarishlar uchun qimmatli.
Bosqichma-bosqich joriy etish
Test 10 foizda ijobiy natijalarni ko'rsatganda, darhol 100 foizga o'tmang. Yana bir necha kun davomida 25 foizgacha oshiring, keyin 50, keyin 75, keyin 100. Har bir qadam yaxshilanish yuqori trafik hajmlarida saqlanib qolishini tekshirish va faqat miqyosda paydo bo'ladigan muammolarni tutib olish uchun nazorat nuqtasini beradi — masalan, past hajmda yaxshi ishlaydigan, lekin ko'proq trafik berilganda fill rate'ni saqlay olmaydigan demand partner.
Reklama daromadlarini doimiy ravishda o'stiradigan publishers eng jasur o'zgarishlarni amalga oshiradiganlar emas — ular har bir o'zgarishni uslubiy ravishda test qiladiganlar va faqat g'oliblarni qo'llaydiganlar. Kichik, tasdiqlangan yaxshilanishlar vaqt o'tishi bilan ulkan foydaga birlashadi.
Umumiy test xatolari
Bir vaqtning o'zida juda ko'p o'zgaruvchilarni test qilish
Har bir testda bir narsani o'zgartiring. Agar siz bir vaqtning o'zida floor prices'ni sozlasangiz, yangi demand source qo'shsangiz va waterfall ustuvorligini qayta joylashtirsangiz, natijani biror bir o'zgarishga bog'lay olmaysiz. O'zgaruvchilarni ajrating.
Testlarni juda erta tugatish
Reklama daromadi hafta kunining katta ta'sirlariga ega. Dushanbadan chorshanbagacha ishlaydigan test sizga to'liq hafta oxirini o'z ichiga olgan testdan farqli rasm beradi. Testlarni doimo kamida yetti to'liq kun, eng yaxshisi o'n to'rt kun o'tkazing.
Statistical significance'ni e'tiborsiz qoldirish
Kichik trafik segmentida 5 foizlik daromad yaxshilanishi shunchaki shovqin bo'lishi mumkin. G'olib deb e'lon qilishdan oldin, farq statistically significant ekanligiga ishonch hosil qiling — ko'pchilik mediation platformalari confidence intervals'ni taqdim etadi, yoki tasdiqlash uchun standart statistik vositalardan foydalanishingiz mumkin.
Jarayonni avtomatlashtirish
Managed monetization hamkori sizning nomingizdan doimiy waterfall testlarini o'tkazishi mumkin, trafikni bo'ladigan, natijalarni o'lchaydigan va g'olib konfiguratsiyalarni ilgari suradigan avtomatlashtirilgan tizimlardan foydalangan holda — bularning barchasi sizning muhandislik jamoangizdan test infratuzilmasini o'rnatish va boshqarishni talab qilmaydi. Bu waterfall optimization'ni vaqti-vaqti bilan qo'lda bajariladigan jarayondan uzluksiz yaxshilash dvigatelga aylantiradi.