هر تیم کسب درآمد این احساس را میشناسد: مطمئن هستید که یک تغییر waterfall درآمد را بهبود میبخشد، اما لحظهای که آن را به صورت زنده منتشر میکنید، نفس خود را حبس میکنید. اگر نتیجه عکس دهد چه؟ اگر fill rate سقوط کند چه؟ اگر همین حالا هزاران دلار از درآمد شرکت را در زمانی که برای متوجه شدن و بازگرداندن لازم است، تلف کرده باشید چه؟
این ترس غیرمنطقی نیست — دلیل اصلی آن است که اکثر ناشران پیکربندیهای waterfall خود را ماهها دستنخورده رها میکنند و درآمد قابل توجهی را روی میز باقی میگذارند. راهحل این نیست که تغییرات را متوقف کنید. راهحل این است که قبل از تعهد، آنها را به درستی آزمایش کنید.
چرا تست waterfall متفاوت است
A/B تست یک waterfall مثل تست رنگ دکمه یا جریان onboarding نیست. درآمد تبلیغات ذاتاً نویزی است — بر اساس ساعت، روز هفته، فصل و دهها عامل دیگر نوسان دارد. تغییری که دوشنبه به نظر 10 درصد بهبود میآید ممکن است کاملاً با تغییرات هفتگی عادی توضیح داده شود. و بر خلاف A/B تستهای محصول که در آن یک variant بد باعث تجربه کاربری کمی بدتر میشود، یک variant بد waterfall میتواند به معنای هزاران دلار درآمد از دست رفته در روز باشد.
رویکرد تقسیم ترافیک
امنترین راه برای تست تغییرات waterfall تقسیم ترافیک بین پیکربندی فعلی (control) و تغییر پیشنهادی (variant) است. اکثر پلتفرمهای mediation — از جمله AppLovin MAX و Unity LevelPlay — از segmentation ترافیک پشتیبانی میکنند که به شما امکان میدهد درصدی از کاربران را به پیکربندی waterfall متفاوتی هدایت کنید.
چگونه یک تست تمیز راهاندازی کنیم
با تقسیم 90/10 شروع کنید: 90 درصد ترافیک روی waterfall فعلی شما ادامه مییابد و 10 درصد پیکربندی جدید را میگیرد. این ریسک نزولی شما را به 10 درصد ترافیک محدود میکند در حالی که داده کافی برای تشخیص تفاوتهای معنادار فراهم میآورد. تست را حداقل هفت روز اجرا کنید تا چرخه هفتگی تقاضای تبلیغاتی را پوشش دهد.
چه چیزی را اندازه بگیرید
فقط eCPM را اندازه نگیرید. این معیارها را برای هر دو گروه دنبال کنید: درآمد کل به ازای هزار کاربر فعال روزانه (revenue per mille DAU)، fill rate، میانگین eCPM، impression در هر session، و — که حیاتی است — retention کاربر. یک تغییر waterfall که eCPM را 15 درصد بالا میبرد اما زمان بارگذاری تبلیغ را افزایش میدهد و retention هفت روزه را 2 درصد کاهش میدهد، خالص منفی است.
روش گروه holdout
برای تغییرات مهمتر — مانند افزودن یا حذف یک demand source، یا بازسازی کامل waterfall — از یک گروه holdout استفاده کنید. 20 درصد ترافیک خود را به طور دائم (یا برای مدت تست) روی پیکربندی قدیمی نگه دارید و پیکربندی جدید را به 80 درصد باقیمانده اعمال کنید. این یک خط مبنای پایدار برای مقایسه فراهم میکند که مخصوصاً برای تغییراتی که اثرشان ممکن است هفتهها طول بکشد ارزشمند است.
انتشار تدریجی
پس از اینکه یک تست نتایج مثبت در 10 درصد نشان داد، فوراً به 100 درصد نروید. برای چند روز دیگر به 25 درصد افزایش دهید، سپس 50، سپس 75، سپس 100. هر مرحله یک checkpoint به شما میدهد تا تأیید کنید بهبود در حجمهای بالاتر ترافیک پایدار میماند و هر مشکلی که فقط در مقیاس بزرگ ظاهر میشود را بگیرید — مانند یک demand partner که در حجم کم خوب عمل میکند اما نمیتواند fill rate را با ترافیک بیشتر حفظ کند.
ناشرانی که به طور مداوم درآمد تبلیغات خود را رشد میدهند، آنهایی نیستند که جسورانهترین تغییرات را میکنند — آنها کسانی هستند که هر تغییری را روشمند آزمایش میکنند و فقط به برندگان متعهد میشوند. بهبودهای کوچک و اعتبارسنجیشده در طول زمان به دستاوردهای عظیمی تبدیل میشوند.
اشتباهات رایج تست
تست بیش از حد متغیر در یک زمان
در هر تست یک چیز را تغییر دهید. اگر همزمان قیمتهای floor را تنظیم کنید، یک demand source جدید اضافه کنید و اولویت waterfall را مرتب کنید، نمیتوانید نتیجه را به هیچ تغییر واحدی نسبت دهید. متغیرها را جدا کنید.
پایان دادن زودهنگام به تستها
درآمد تبلیغاتی اثرات روز هفته قابل توجهی دارد. یک تست که دوشنبه تا چهارشنبه اجرا میشود تصویر متفاوتی نسبت به تستی که یک آخر هفته کامل را شامل میشود میدهد. همیشه تستها را حداقل هفت روز کامل، ایدهآل چهارده روز اجرا کنید.
نادیده گرفتن statistical significance
بهبود 5 درصد درآمد در یک بخش کوچک ترافیک ممکن است نویز باشد. قبل از اعلام برنده، اطمینان حاصل کنید که تفاوت از نظر آماری معنادار است — اکثر پلتفرمهای mediation confidence intervalها را ارائه میدهند یا میتوانید از ابزارهای آماری استاندارد استفاده کنید.
خودکارسازی فرآیند
یک شریک monetization مدیریتشده میتواند تستهای مداوم waterfall را از طرف شما اجرا کند، با استفاده از سیستمهای خودکار که ترافیک را تقسیم میکنند، نتایج را اندازه میگیرند و پیکربندیهای برنده را ترویج میکنند — همه بدون نیاز به راهاندازی و مدیریت زیرساخت تست توسط تیم مهندسی شما. این بهینهسازی waterfall را از یک فرآیند دستی گاهبهگاه به یک موتور بهبود مستمر تبدیل میکند.