ஒவ்வொரு monetization குழுவும் இந்த உணர்வை அறியும்: waterfall மாற்றம் வருவாயை மேம்படுத்தும் என்று நீங்கள் உறுதியாக நம்புகிறீர்கள், ஆனால் அதைத் தொடங்கும் தருணத்தில் நீங்கள் மூச்சைப் பிடிக்கிறீர்கள். அது தலைகீழாக மாறினால் என்ன ஆகும்? fill rate குறைந்தால் என்ன ஆகும்? அதைக் கவனித்து மீட்டெடுக்கும் நேரத்தில் உங்கள் நிறுவனத்திற்கு ஆயிரக்கணக்கான டாலர்கள் இழப்பை ஏற்படுத்தியிருந்தால் என்ன ஆகும்?
இந்த பயம் காரணமற்றது அல்ல — பெரும்பாலான publishers தங்கள் waterfall உள்ளமைவுகளை மாதக்கணக்கில் மாற்றாமல் விட்டு, குறிப்பிடத்தக்க வருவாயைத் தவறவிடுவதற்கான காரணம் இதுதான். தீர்வு மாற்றங்கள் செய்வதை நிறுத்துவது அல்ல. நிலைநிறுத்தப்படுவதற்கு முன் அவற்றை சரியாக சோதிப்பதுதான்.
Waterfall சோதனை ஏன் வேறுபட்டது
Waterfall-ஐ A/B test செய்வது பொத்தான் நிறம் அல்லது onboarding flow-ஐ சோதிப்பது போன்றது அல்ல. விளம்பர வருவாய் இயற்கையாகவே இரைச்சலானது — இது மணிநேரம், வாரத்தின் நாள், பருவம் மற்றும் டஜன்கணக்கான பிற காரணிகளால் ஏற்ற இறக்கமடைகிறது. திங்கட்கிழமை 10 சதவீத முன்னேற்றமாகத் தோன்றும் மாற்றம் சாதாரண வாராந்திர மாறுபாட்டால் முழுமையாக விளக்கப்படக்கூடும். மேலும், மோசமான variant சற்று மோசமான பயனர் அனுபவத்தை ஏற்படுத்தும் தயாரிப்பு A/B tests-க்கு மாறாக, மோசமான waterfall variant ஒரு நாளைக்கு ஆயிரக்கணக்கான டாலர்கள் இழந்த வருவாயை குறிக்கலாம்.
Traffic Split அணுகுமுறை
Waterfall மாற்றங்களை சோதிப்பதற்கான பாதுகாப்பான வழி, தற்போதைய உள்ளமைவு (control) மற்றும் முன்மொழியப்பட்ட மாற்றம் (variant) இடையே உங்கள் போக்குவரத்தை பிரிப்பதாகும். AppLovin MAX மற்றும் Unity LevelPlay உட்பட பெரும்பாலான mediation platforms, பயனர்களின் ஒரு சதவீதத்தை வேறு waterfall உள்ளமைவிற்கு வழிநடத்த உங்களை அனுமதிக்கும் traffic segmentation-ஐ ஆதரிக்கின்றன.
தூய்மையான சோதனை அமைக்கும் முறை
90/10 பிரிப்புடன் தொடங்குங்கள்: போக்குவரத்தின் 90 சதவீதம் உங்கள் தற்போதைய waterfall-ல் தொடர்கிறது, மேலும் 10 சதவீதம் புதிய உள்ளமைவைப் பெறுகிறது. இது உங்கள் கீழ்நோக்கிய அபாயத்தை போக்குவரத்தின் 10 சதவீதமாகக் கட்டுப்படுத்தும் அதே வேளையில், அர்த்தமுள்ள வேறுபாடுகளைக் கண்டறிய போதுமான தரவை உங்களுக்கு வழங்குகிறது. விளம்பர தேவையின் வாராந்திர சுழற்சியைப் பிடிக்க குறைந்தது ஏழு நாட்கள் சோதனையை இயக்குங்கள்.
என்ன அளவிட வேண்டும்
eCPM-ஐ மட்டும் அளவிட வேண்டாம். இரு குழுக்களுக்கும் இந்த அளவீடுகளைக் கண்காணிக்கவும்: ஆயிரம் தினசரி செயலில் உள்ள பயனர்களுக்கான மொத்த வருவாய் (revenue per mille DAU), fill rate, சராசரி eCPM, அமர்வுக்கான impressions, மற்றும் — மிக முக்கியமாக — பயனர் தக்கவைப்பு. eCPM-ஐ 15 சதவீதம் உயர்த்தும் ஆனால் விளம்பர ஏற்றும் நேரத்தை அதிகரித்து 7-நாள் retention-ஐ 2 சதவீதம் குறைக்கும் waterfall மாற்றம் நிகர எதிர்மறையானது.
Holdout குழு முறை
மிக முக்கியமான மாற்றங்களுக்கு — demand source-ஐ சேர்ப்பது அல்லது அகற்றுவது, அல்லது உங்கள் முழு waterfall-ஐ மறுகட்டமைப்பது போன்ற — ஒரு holdout குழுவைப் பயன்படுத்துங்கள். உங்கள் போக்குவரத்தின் 20 சதவீதத்தை பழைய உள்ளமைவில் நிரந்தரமாக (அல்லது சோதனையின் காலத்திற்கு) வைத்து, மீதமுள்ள 80 சதவீதத்திற்கு புதிய உள்ளமைவை அறிமுகப்படுத்துங்கள். இது ஒப்பிடுவதற்கு நிலையான அடிப்படையை உங்களுக்கு வழங்குகிறது, இது பல வாரங்கள் எடுத்துக்கொள்ளக்கூடிய தாக்கத்தைக் கொண்ட மாற்றங்களுக்கு குறிப்பாக மதிப்புமிக்கது.
படிப்படியான வெளியீடுகள்
ஒரு சோதனை 10 சதவீதத்தில் நேர்மறையான முடிவுகளைக் காட்டும்போது, உடனடியாக 100 சதவீதத்திற்குத் தள்ள வேண்டாம். மேலும் சில நாட்களுக்கு 25 சதவீதமாக அதிகரிக்கவும், பின்னர் 50, பின்னர் 75, பின்னர் 100. ஒவ்வொரு படியும் அதிக போக்குவரத்து அளவுகளில் முன்னேற்றம் நிலைத்திருப்பதை சரிபார்க்கவும், அளவில் மட்டுமே வெளிப்படும் எந்த சிக்கல்களையும் பிடிக்கவும் உங்களுக்கு ஒரு checkpoint வழங்குகிறது — குறைந்த அளவில் நன்றாக செயல்படும் ஆனால் அதிக போக்குவரத்து கொடுக்கப்படும்போது fill rate-ஐ பராமரிக்க முடியாத demand partner போன்றது.
தொடர்ந்து தங்கள் விளம்பர வருவாயை வளர்க்கும் publishers மிக தைரியமான மாற்றங்களைச் செய்பவர்கள் அல்ல — அவர்கள் ஒவ்வொரு மாற்றத்தையும் முறையாக சோதித்து வெற்றியாளர்களுக்கு மட்டுமே உறுதிபூணுபவர்கள். சிறிய, சரிபார்க்கப்பட்ட மேம்பாடுகள் காலப்போக்கில் பெரிய ஆதாயங்களாக ஒன்றுபடுகின்றன.
பொதுவான சோதனை தவறுகள்
ஒரே நேரத்தில் பல மாறிகளை சோதிப்பது
ஒவ்வொரு சோதனைக்கும் ஒரு விஷயத்தை மாற்றுங்கள். நீங்கள் ஒரே நேரத்தில் floor prices-ஐ சரிசெய்து, புதிய demand source-ஐச் சேர்த்து, waterfall முன்னுரிமையை மறுசீரமைத்தால், முடிவை எந்த ஒரு மாற்றத்திற்கும் காரணம் காட்ட முடியாது. மாறிகளை தனிமைப்படுத்துங்கள்.
சோதனைகளை மிக விரைவாக முடிப்பது
விளம்பர வருவாய் குறிப்பிடத்தக்க வாரத்தின் நாள் விளைவுகளைக் கொண்டுள்ளது. திங்கள் முதல் புதன் வரை இயங்கும் சோதனை முழு வார இறுதியையும் உள்ளடக்கிய ஒன்றை விட வேறுபட்ட படத்தை உங்களுக்குத் தரும். எப்போதும் குறைந்தது ஏழு முழு நாட்கள், வடிவமாக பதினான்கு நாட்கள், சோதனைகளை இயக்குங்கள்.
Statistical significance-ஐ புறக்கணிப்பது
ஒரு சிறிய போக்குவரத்து பிரிவில் 5 சதவீத வருவாய் முன்னேற்றம் இரைச்சலாக இருக்கலாம். ஒரு வெற்றியாளரை அறிவிப்பதற்கு முன், வேறுபாடு statistically significant என்பதை உறுதி செய்யுங்கள் — பெரும்பாலான mediation platforms confidence intervals-ஐ வழங்குகின்றன, அல்லது சரிபார்க்க நீங்கள் நிலையான புள்ளியியல் கருவிகளைப் பயன்படுத்தலாம்.
செயல்முறையை தானியங்காக்குதல்
Managed monetization partner உங்கள் சார்பில் தொடர்ச்சியான waterfall சோதனைகளை இயக்க முடியும், போக்குவரத்தைப் பிரிக்கும், முடிவுகளை அளவிடும், வெற்றிகரமான உள்ளமைவுகளை முன்னேற்றும் தானியங்கி அமைப்புகளைப் பயன்படுத்தி — இவை எல்லாம் உங்கள் பொறியியல் குழு சோதனை உள்கட்டமைப்பை அமைக்கவும் நிர்வகிக்கவும் தேவையில்லாமல். இது waterfall optimization-ஐ எப்போதாவது செய்யப்படும் கைமுறை செயல்முறையிலிருந்து தொடர்ச்சியான மேம்பாட்டு இயந்திரமாக மாற்றுகிறது.