ทุกทีมสร้างรายได้รู้ความรู้สึกนี้ดี คุณมั่นใจว่าการเปลี่ยนแปลง waterfall จะช่วยเพิ่มรายได้ แต่ในวินาทีที่คุณปล่อยขึ้นไลฟ์ คุณกลั้นหายใจ จะเป็นอย่างไรถ้ามันให้ผลตรงกันข้าม จะเป็นอย่างไรถ้า fill rate ลดลง จะเป็นอย่างไรถ้าคุณเพิ่งทำให้บริษัทสูญเงินหลายพันดอลลาร์ในช่วงเวลาที่คุณใช้ในการสังเกตและย้อนกลับ
ความกลัวนี้ไม่ใช่เรื่องไร้เหตุผล มันคือเหตุผลที่ผู้เผยแพร่ส่วนใหญ่ปล่อยการตั้งค่า waterfall ไว้โดยไม่แตะต้องเป็นเวลาหลายเดือน ซึ่งทำให้รายได้จำนวนมากถูกทิ้งไว้บนโต๊ะ ทางออกไม่ใช่การหยุดทำการเปลี่ยนแปลง แต่คือการทดสอบมันอย่างเหมาะสมก่อนที่จะยอมรับอย่างถาวร
ทำไมการทดสอบ Waterfall จึงแตกต่าง
การทำ A/B test waterfall ไม่เหมือนกับการทดสอบสีปุ่มหรือ onboarding flow รายได้จากโฆษณามีความผันผวนโดยธรรมชาติ มันแกว่งไปมาตามชั่วโมง วันของสัปดาห์ ฤดูกาล และปัจจัยอื่นๆ อีกหลายสิบอย่าง การเปลี่ยนแปลงที่ดูเหมือนการปรับปรุง 10 เปอร์เซ็นต์ในวันจันทร์อาจถูกอธิบายได้ทั้งหมดจากความแปรปรวนรายสัปดาห์ปกติ และไม่เหมือนการทำ A/B test ของผลิตภัณฑ์ซึ่ง variant ที่ไม่ดีทำให้ประสบการณ์ผู้ใช้แย่ลงเล็กน้อย variant waterfall ที่ไม่ดีอาจหมายถึงรายได้ที่สูญเสียหลายพันดอลลาร์ต่อวัน
แนวทางแบ่ง Traffic
วิธีที่ปลอดภัยที่สุดในการทดสอบการเปลี่ยนแปลง waterfall คือการแบ่ง traffic ระหว่างการตั้งค่าปัจจุบัน (control) และการเปลี่ยนแปลงที่เสนอ (variant) แพลตฟอร์ม mediation ส่วนใหญ่ รวมถึง AppLovin MAX และ Unity LevelPlay รองรับการแบ่งเซกเมนต์ traffic ที่ช่วยให้คุณสามารถกำหนดเส้นทางผู้ใช้บางเปอร์เซ็นต์ไปยังการตั้งค่า waterfall ที่แตกต่างกัน
วิธีตั้งค่าการทดสอบที่สะอาด
เริ่มต้นด้วยการแบ่ง 90/10 โดยที่ 90 เปอร์เซ็นต์ของ traffic ยังคงอยู่บน waterfall ปัจจุบัน และ 10 เปอร์เซ็นต์ได้รับการตั้งค่าใหม่ สิ่งนี้จำกัดความเสี่ยงของคุณไว้ที่ 10 เปอร์เซ็นต์ของ traffic ในขณะที่ให้ข้อมูลเพียงพอสำหรับตรวจจับความแตกต่างที่มีความหมาย ให้รันการทดสอบอย่างน้อยเจ็ดวันเพื่อจับความเป็นวัฏจักรรายสัปดาห์ในอุปสงค์โฆษณา
ควรวัดอะไร
อย่าวัดแค่ eCPM ติดตามเมทริกเหล่านี้สำหรับทั้งสองกลุ่ม รายได้รวมต่อผู้ใช้งานรายวันหนึ่งพันคน (revenue per mille DAU) fill rate eCPM เฉลี่ย การแสดงผลต่อเซสชัน และที่สำคัญคือ retention ของผู้ใช้ การเปลี่ยนแปลง waterfall ที่เพิ่ม eCPM 15 เปอร์เซ็นต์แต่เพิ่มเวลาโหลดโฆษณาและลด retention 7 วันลง 2 เปอร์เซ็นต์นั้นเป็นลบสุทธิ
วิธี Holdout Group
สำหรับการเปลี่ยนแปลงที่สำคัญกว่า เช่น การเพิ่มหรือเอาแหล่ง demand ออก หรือการปรับโครงสร้าง waterfall ทั้งหมด ให้ใช้ holdout group เก็บ 20 เปอร์เซ็นต์ของ traffic ไว้ที่การตั้งค่าเดิมอย่างถาวร (หรือตลอดระยะเวลาการทดสอบ) และปล่อยการตั้งค่าใหม่ไปยังส่วนที่เหลือ 80 เปอร์เซ็นต์ สิ่งนี้ให้ baseline ที่คงอยู่เพื่อเปรียบเทียบ ซึ่งมีคุณค่าอย่างยิ่งสำหรับการเปลี่ยนแปลงที่ผลกระทบอาจใช้เวลาหลายสัปดาห์จึงจะปรากฏเต็มที่
การเปิดตัวแบบค่อยเป็นค่อยไป
เมื่อการทดสอบแสดงผลบวกที่ 10 เปอร์เซ็นต์ อย่ารีบเปลี่ยนไปยัง 100 เปอร์เซ็นต์ทันที เพิ่มเป็น 25 เปอร์เซ็นต์อีกสักสองสามวัน จากนั้น 50 จากนั้น 75 จากนั้น 100 แต่ละขั้นตอนให้ checkpoint เพื่อยืนยันว่าการปรับปรุงยังคงอยู่ที่ปริมาณ traffic ที่สูงขึ้น และเพื่อจับปัญหาใดๆ ที่เกิดขึ้นเฉพาะในระดับใหญ่เท่านั้น เช่น demand partner ที่ทำงานได้ดีในปริมาณต่ำแต่ไม่สามารถรักษา fill rate ได้เมื่อได้รับ traffic มากขึ้น
ผู้เผยแพร่ที่เพิ่มรายได้โฆษณาอย่างสม่ำเสมอไม่ใช่ผู้ที่ทำการเปลี่ยนแปลงกล้าที่สุด แต่เป็นผู้ที่ทดสอบการเปลี่ยนแปลงทุกอย่างอย่างเป็นระบบและยอมรับเฉพาะผู้ชนะ การปรับปรุงเล็กๆ น้อยๆ ที่ได้รับการตรวจสอบแล้วจะสะสมเป็นผลกำไรมหาศาลเมื่อเวลาผ่านไป
ข้อผิดพลาดทั่วไปในการทดสอบ
ทดสอบตัวแปรมากเกินไปในครั้งเดียว
เปลี่ยนทีละอย่างต่อการทดสอบหนึ่งครั้ง หากคุณปรับ floor price เพิ่ม demand source ใหม่ และจัดลำดับความสำคัญของ waterfall พร้อมกัน คุณจะไม่สามารถระบุผลลัพธ์ให้กับการเปลี่ยนแปลงใดแปลงหนึ่งได้ แยกตัวแปรออกจากกัน
จบการทดสอบเร็วเกินไป
รายได้โฆษณามีผลกระทบจากวันในสัปดาห์อย่างมีนัยสำคัญ การทดสอบที่รันตั้งแต่วันจันทร์ถึงวันพุธจะให้ภาพที่แตกต่างจากการทดสอบที่รวมวันหยุดสุดสัปดาห์เต็มๆ ให้รันการทดสอบอย่างน้อยเจ็ดวันเต็มเสมอ ตามอุดมคติคือสิบสี่วัน
เพิกเฉยต่อนัยสำคัญทางสถิติ
การปรับปรุงรายได้ 5 เปอร์เซ็นต์บนส่วนของ traffic เล็กๆ อาจเป็นเสียงรบกวน ก่อนประกาศผู้ชนะ ตรวจสอบให้แน่ใจว่าความแตกต่างมีนัยสำคัญทางสถิติ แพลตฟอร์ม mediation ส่วนใหญ่ให้ confidence interval หรือคุณสามารถใช้เครื่องมือสถิติมาตรฐานเพื่อตรวจสอบ
การทำให้กระบวนการเป็นอัตโนมัติ
พันธมิตรด้านการสร้างรายได้แบบจัดการสามารถรันการทดสอบ waterfall อย่างต่อเนื่องในนามของคุณ โดยใช้ระบบอัตโนมัติที่แบ่ง traffic วัดผล และเลื่อนการตั้งค่าที่ชนะ โดยที่ทีม engineering ของคุณไม่จำเป็นต้องตั้งค่าและจัดการโครงสร้างพื้นฐานการทดสอบ สิ่งนี้เปลี่ยนการเพิ่มประสิทธิภาพ waterfall จากกระบวนการด้วยมือเป็นครั้งคราวเป็นเครื่องยนต์การปรับปรุงอย่างต่อเนื่อง