Reklam testi ne kadar sürmeli

Reklam testi ne kadar sürmeli sorusunun dürüst cevabı bir gün sayısı değil. Bir test, sonucunu iki hafta sonra tersine çevirmeyeceğin kadar veri biriktirdiğinde biter; takvimde yedi gün dolduğu için değil. Bu yazı testin kurulumuyla değil bitirilmesiyle ilgileniyor, yani durdurma kuralıyla ve o kuralın arkasındaki hacim hesabıyla. Tek bir testin hipotezini ve değişkenini nasıl kuracağın için A/B testi nasıl yapılır yazısı işini görür.

Reklam testi ne kadar sürmeli sorusunda birim gün değil dönüşümdür

Gün, testin ürettiği veri hakkında hiçbir şey söylemez. Günde 40 dönüşüm alan bir hesapta yedi gün ciddi bir veri yığınıdır. Günde 3 dönüşüm alan bir hesapta aynı yedi gün, kararı birkaç müşterinin keyfine bırakmak demektir. Aynı süre iki hesapta iki farklı anlama geliyorsa süre karar birimi olamaz.

Doğru birim, varyant başına biriken dönüşüm sayısıdır. Sebebi tamamen aritmetik: bir varyantta 20 dönüşüm varsa tek bir dönüşüm o varyantın sonucunu 1 ÷ 20 = %5 oynatır. 50 dönüşümde aynı tek dönüşümün etkisi 1 ÷ 50 = %2'ye iner. İki varyant arasındaki fark, tek bir dönüşümün oynatabileceği farktan küçükse ortada kazanan yoktur, gürültü vardır.

Testi bitiren üç kapı

Bir testin bittiğini söyleyebilmek için üç koşulun aynı anda sağlanması gerekir. Üçü sağlanmadan okunan tablo, doğru görünen ama yanlış olan bir tablodur.

Öğrenme kapısı

Yeni bir reklam seti yayına girdiğinde platform ilk günlerde dağıtımı oturtur ve o günlerin maliyetleri sonraki döneme benzemez. Meta tarafında öğrenme aşamasından çıkış koşulu reklam setinin dönüşüm hacmine bağlıdır ve platformun kendi dokümanında tanımlıdır. Buradaki tek kural şu: öğrenme dönemi kapanmadan varyantları karşılaştırma, o günlerin verisi testin değil kurulumun verisidir.

Hacim kapısı

İkinci kapı yukarıdaki dönüşüm hesabıdır. Her varyantın, aradaki farkın tek bir günün üretimiyle kapanmayacağı kadar dönüşüm biriktirmiş olması gerekir. Fark iki dönüşümse ve her varyant günde iki dönüşüm üretiyorsa, tek bir günlük kayma sıralamayı ters çeviriyor demektir. Böyle bir tabloya bakıp karar vermek, testi yapmamış olmakla aynı kapıya çıkar.

Olgunlaşma kapısı

Üçüncü kapı dönüşüm gecikmesidir. Ürününü inceleyip üç gün sonra satın alan bir kitlen varsa, testin son üç günü henüz olgunlaşmamıştır; o günlerin tıklamaları dönüşümlerini vermiş değildir. 25 günlük bir testte kararı ilk 22 günün verisiyle vermek gerekir, son 3 gün tabloya girmez. Aksi halde en yeni yayına giren varyantı sistematik olarak cezalandırırsın.

Kendi hesabında test süresini hesaplama

Sektör ortalaması diye bir sayı aramak yerine hesabının kendi rakamlarıyla çalış. Üç girdi yeter: dönüşüm oranın, ortalama tıklama maliyetin ve teste ayırdığın günlük bütçe. Dönüşüm oranını son 30 günün verisinden çıkarabilirsin; rakamları hızlıca oturtmak için dönüşüm oranı hesaplama aracını kullanabilirsin.

Aşağıdaki sayılar sadece örnek, kendi rakamlarını yerine koy. Diyelim ki dönüşüm oranın %2, ortalama tıklama maliyetin 5 TL, iki varyant test edeceksin ve varyant başına 50 dönüşüm biriktirmek istiyorsun.

• Varyant başına gereken tıklama: 50 ÷ 0,02 = 2.500 tıklama
• İki varyant için toplam tıklama: 2.500 × 2 = 5.000 tıklama
• Gereken test bütçesi: 5.000 × 5 TL = 25.000 TL
• Teste günlük 1.000 TL ayırıyorsan süre: 25.000 ÷ 1.000 = 25 gün

Sonuç net: bu hesapta yedi günlük bir test planı hiçbir zaman cevap üretmeyecekti. Hesabı ters yönde de çalıştırabilirsin. On günden fazla bekleyemiyorsan test bütçen 10 × 1.000 = 10.000 TL olur. Bu bütçe 10.000 ÷ 5 = 2.000 tıklama, varyant başına 2.000 ÷ 2 = 1.000 tıklama ve 1.000 × 0,02 = 20 dönüşüm anlamına gelir. 20 dönüşüm 10 güne yayıldığında günde 2 dönüşüm eder; yani iki dönüşümlük bir fark, tek bir günün üretimine eşittir. Böyle bir testin kazananını ölçeklemek, yazı tura sonucunu bütçeyle çarpmaktır.

Buradan üç kaldıraç çıkar: test bütçesini artırmak, varyant sayısını azaltmak veya hedeflediğin dönüşüm eşiğini düşürüp kararın belirsizliğini bilerek kabul etmek. Kaç varyantla başlanacağı ve bütçenin test ile ölçekleme arasında nasıl bölüneceği ayrı bir konu. Burada bilmen gereken tek şey şu: varyant sayısını artırdığın anda aynı bütçe daha ince dilimlere bölünür ve süre uzar.

Erken karar hatası: her gün tabloya bakmak

Testi çoğu zaman kısa süre değil sürekli bakma alışkanlığı öldürür. Rapora her gün bakıp ilk lehte görünen anda testi durdurursan bir kazananı değil, bir dalgalanmanın tepe noktasını seçmiş olursun. Hiç dokunulmayan bir reklam bile haftadan haftaya farklı sonuç verir; bunun yapısal nedenleri reklam sonuçlarındaki dalgalanmalar yazısında tek tek ele alınıyor.

Bu hatayı çözmenin pratik yolu kendi gürültü tabanını ölçmek. Aylardır dokunmadığın bir reklamın son dört haftasını hafta hafta yaz. En düşük hafta ile en yüksek hafta arasındaki fark, o hesabın gürültü tabanıdır. Varyantlar arasındaki fark bu bandın içinde kalıyorsa testin ne kadar sürdüğünün önemi yok, elinde bir sonuç yok demektir.

Durdurma kuralını teste başlamadan yaz

Karar eşiğini test bittikten sonra belirlemek, sonucu görüp kuralı ona uydurmak demektir. Testi başlatmadan önce dört satırı bir yere not et:

• Karar hangi metrikle verilecek, tek metrik seç
• Varyant başına kaç dönüşüm birikince tabloya bakılacak
• En erken hangi tarihte karar verilecek
• Fark eşiğin altında kalırsa ne yapılacak

Dördüncü madde en çok atlanan maddedir ve testin sonunu belirsizlikten kurtaran tek şeydir. Kreatif testlerini sürekli döndüren bir yapı kuruyorsan kreatif optimizasyon sayfamıza da göz atabilirsin.

Beraberlikle biten test de sonuçtur

Testlerin bir kısmı fark üretmeden biter ve bu bir başarısızlık değildir. İki varyant arasındaki fark gürültü tabanının içindeyse doğru okuma şudur: bu değişken bu hesapta sonucu taşımıyor. Üretimi kolay olanı ya da operasyonel olarak sade olanı bırak, diğerini kapat ve bir sonraki testte daha büyük bir değişkene geç. Buton metni gibi küçük değişkenlerin okunur bir fark üretmesi için gereken hacim çoğu hesapta makul sürede birikmez; teklif, kitle veya kreatif formatı gibi büyük değişkenler aynı hacimle daha net ayrışır.

Özetle bir reklam testinin süresi tercih meselesi değil, hesabının trafiğinin ve dönüşüm oranının dayattığı bir sonuçtur. Önce hesabı yap, süreyi sonra öğren. Çıkan süreyi göze alamıyorsan testi kısaltma; testin sorusunu büyüt ki aynı hacimle okunabilir bir fark çıksın.