すべての収益化チームがこの感覚を知っています：ウォーターフォールの変更で収益が改善すると確信していても、本番投入の瞬間に息を止めます。
ウォーターフォールテストが異なる理由
ウォーターフォールのA/Bテストはボタンの色テストとは違います。広告収益は本質的にノイズが多く、時間帯、曜日、季節で変動します。
トラフィック分割アプローチ
90/10分割で開始。少なくとも7日間テストを実行します。
何を測定するか
eCPMだけでなく、千DAUあたりの総収益、フィル率、平均eCPM、セッションあたりのインプレッション、そしてユーザーリテンション。
段階的ロールアウト
10%で良い結果が出たら25、50、75、100%へ増やします。
着実に広告収益を伸ばすパブリッシャーは最も大胆な変更をする者ではなく、すべての変更を体系的にテストし勝者にのみコミットする者です。