Artımlılık testi ile A/B testi arasındaki fark nedir?

A/B testi iki reklam, kreatif veya açılış sayfasından hangisinin daha iyi çalıştığını karşılaştırır ve reklam vereceğinizi baştan varsayar. Artımlılık testi bir adım geridedir: reklamı gören grup ile hiç görmeyen bir kontrol grubunu karşılaştırarak kanalın kendisinin ek satış üretip üretmediğini ölçer. Biri kreatif seçimi, diğeri bütçe kararı için kurulur.

Artımlılık testi en az ne kadar sürmeli?

Süreyi üç şey belirler: ürününüzün satın alma gecikmesi, haftalık ritim ve mevsim. Reklamı görenler iki hafta sonra satın alıyorsa iki haftalık test etkinin yalnızca bir kısmını yakalar. Testi tam haftalarla kapatın, dört haftalık bloklarla çalışın ve kampanya dönemi, resmi tatil veya ürün lansmanı ile çakışmasına izin vermeyin.

Küçük bütçeli bir hesapta artımlılık testi kurulabilir mi?

Eşik bütçenin mutlak büyüklüğü değil, kontrol grubunun test boyunca üreteceği dönüşüm sayısıdır. Kontrol grubu tek haneli sipariş üretecekse aradaki farkı doğal dalgalanmadan ayıramazsınız. Bu durumda deney kurmak yerine toplam ciroyu toplam pazarlama harcamasına oranlayan bir izleme düzenine geçmek daha doğru sonuç verir.

Kontrol grubu mu coğrafi bölme mi seçmeliyim?

Kitle temelli holdout rastgeleleştirme sağladığı için daha temiz bir karşılaştırma verir, ama ölçüm platformun kendi tanımına bağlı kalır ve tek kanalı kapsar. Coğrafi bölmede ölçümü kendi sipariş verinizde yaparsınız, böylece çevrimdışı ve organik satışlar da hesaba girer; karşılığında iki bölgeyi test öncesi ciroya göre dikkatle eşleştirmeniz gerekir.

Test sonucu belirsiz çıkarsa reklamı durdurmalı mıyım?

Hayır. Belirsiz sonuç, reklamın işe yaramadığı anlamına gelmez; bu kurulumla farkın ölçülemediği anlamına gelir. Holdout oranını büyütebilir, testi bir blok daha uzatabilir ya da bu bütçede deneyin okunamayacağını kabul edip toplam harcama ile toplam ciroyu izlemeye dönebilirsiniz. Testi tekrarlayıp istediğiniz sonucu seçmek geçerli bir yöntem değildir.

Artımlılık testi nasıl yapılır adım adım

Artımlılık testi, reklamı gören bir grup ile aynı dönemde hiç reklam görmeyen bir kontrol grubunu karşılaştırıp aradaki farkı ölçen deney kurgusudur. Tek bir soru sorar: bu satışların hangileri reklam hiç yayınlanmasaydı da gerçekleşecekti? Atıf modelleri krediyi temas noktalarına dağıtır, ama dağıttıkları o satışın gerçekten reklam sayesinde olup olmadığını sorgulamaz. Panel raporu ile muhasebe arasındaki tartışma bu yüzden atıf ayarlarıyla kapanmaz; deneyle kapanır.

Artımlılık testi neyi ölçer, panel raporu neyi ölçer

Platformun gösterdiği getiri atfedilmiş bir rakamdır: sistem, kendi penceresi içinde reklamla temas etmiş kullanıcıların satışlarını toplar ve harcamaya böler. Bu hesabın mantığını ROAS hesaplama tarafında ayrıntılı anlattık. Artımlılık testi ise toplama değil fark bakar: reklamın olduğu tarafla olmadığı tarafın sonuçları arasındaki mesafeyi ölçer. İki rakamın birbirini tutmaması bir hata değil, iki farklı sorunun cevabı olmasıdır.

Bu testi kreatif karşılaştırmasıyla karıştırmayın. A/B testi iki reklamdan hangisinin daha iyi çalıştığını söyler, yani zaten reklam vereceğinizi varsayar. Artımlılık testi bir adım geridedir ve kanalın kendisini yargılar.

Kontrol grubu mu coğrafi bölme mi

Uygulamada iki tasarım var ve hangisini seçeceğiniz neyi ölçmek istediğinize bağlı.

Kitle temelli holdout

Reklam platformunun kendi deney aracı, hedeflediğiniz kitlenin belirli bir yüzdesini rastgele ayırır ve o kişilere kampanyayı hiç göstermez. Güçlü tarafı rastgeleleştirmedir: iki grubun demografisi, alışkanlığı ve satın alma eğilimi istatistiksel olarak birbirine benzer. Zayıf tarafı ise ölçümün platformun kendi tanımına ve kendi kullanıcı eşleşmesine bağlı kalması. O platformdaki teması ölçer, kanalın diğer kanallara yaptığı katkıyı ölçmez.

Coğrafi bölme

Şehir veya bölge listenizi ikiye ayırıp bir tarafta reklamı tamamen kapatırsınız. Ölçümü platformda değil kendi sipariş tablonuzda yaparsınız, dolayısıyla mağaza içi, telefonla gelen ve organik satışlar da hesaba girer. Karşılığında rastgeleleştirme zayıftır: iki bölgenin talebi, mevsimi ve rakip yoğunluğu aynı olmayabilir. Bunu telafi etmenin yolu grupları test öncesi ciroya göre eşleştirmek, yani birbirine yakın büyüklükte iki sepet kurmaktır. Kargo bölgesi, bayi ağı veya mağaza dağılımı dengesiz olan işletmelerde bu eşleştirme göründüğünden zordur.

Testten önce kendi gürültü tabanınızı çıkarın

Bir testin ölçebileceği en küçük etki, hesabınızın kendiliğinden yaptığı dalgalanmadan büyük olmak zorundadır. Bunu tahmin etmeyin, geçmiş verinizden hesaplayın ve testi hangi uzunlukta yürüteceksiniz aynı uzunlukta bloklarla bakın.

Diyelim ki son altı adet dört haftalık blokta satış adediniz sırasıyla 380, 412, 356, 430, 398 ve 424 oldu. Toplam 2.400, ortalama 400. En düşük blok 356, en yüksek blok 430; aradaki fark 74 adet. Bu, ortalamanın 74 ÷ 400 = 0,185 yani yüzde 18,5'i eder. Siz hiçbir şeye dokunmasanız bile iki dört haftalık dönem arasında bu kadar fark çıkabiliyor demektir.

Şimdi bu hesabı yüzde 20'lik bir holdout ile böldüğünüzü düşünün. Kontrol grubu dört haftada ortalama 400 × 0,20 = 80 satış üretir ve aynı yüzde 18,5'lik salınım bu grupta 80 × 0,185 = 14,8, kabaca 15 satışa denk gelir. Küçük gruplarda oransal dalgalanma genelde daha da büyüdüğü için bu 15 rakamı iyimser bir alt sınırdır. Reklamın yarattığı farkın bu bandın belirgin şekilde üzerinde olmasını bekleyemiyorsanız, testi kurmadan önce durun.

Bütçe eşiği tartışması da tam olarak buradan çıkar. Mesele harcamanın mutlak büyüklüğü değil, kontrol grubunun test boyunca kaç dönüşüm üreteceğidir. Haftada beş satış yapan bir hesapta dört haftalık kontrol grubu tek haneli kalır ve hangi sonucu görürseniz görün, onu tesadüften ayıramazsınız. Bu durumda deney kurmak yerine harcamayı toplam ciroya oranlayan bir izleme düzenine geçmek daha dürüsttür.

Testin süresi ve holdout büyüklüğü

Süreyi belirleyen üç şey var. Birincisi satın alma gecikmesi: ürününüz reklamı gördükten iki hafta sonra alınıyorsa, iki haftalık test yalnızca etkinin yarısını yakalar. İkincisi haftalık ritim; hafta içi ve hafta sonu davranışı farklı olduğu için test tam haftalarla kapanmalı. Üçüncüsü mevsim: kampanya dönemine, resmi tatile veya bir ürün lansmanına denk gelen test, reklamın etkisini değil takvimin etkisini ölçer.

Pratikte dört haftalık tam bloklar iyi bir başlangıçtır ve kısa satın alma döngüsü olan işlerde bile bunun altına inmemek gerekir. Holdout oranını büyütmek sonucu daha okunur hale getirir, çünkü kontrol grubunun ürettiği dönüşüm sayısı artar. Bedeli de nettir: pazarınızın daha büyük bir kısmına bir ay boyunca bilerek reklam vermiyorsunuz.

Test başladıktan sonra bütçeyi, kreatifi, hedeflemeyi ve açılış sayfasını dondurun. Ortada değiştirilen tek bir değişken, sonucu yorumlanamaz hale getirir. Erken bakıp kapatmak da aynı sonucu doğurur.

Artımlı ciro ve artımlı ROAS nasıl hesaplanır

Coğrafi bölme kurgusuyla dört haftalık bir örnek üzerinden gidelim. Bütün rakamlar aynı dört haftalık pencereye ve aynı para birimine ait.

Test öncesi dört haftada A grubu 600.000 TL, B grubu 600.000 TL ciro yaptı. Gruplar eşit büyüklükte kuruldu.
Test döneminde A grubunda reklam açık kaldı, 100.000 TL harcandı ve ciro 780.000 TL oldu.
Aynı dönemde B grubunda reklam tamamen kapalıydı ve ciro 660.000 TL oldu.

Önce reklamsız tarafın nasıl değiştiğine bakıyoruz: 660.000 ÷ 600.000 = 1,10. Yani reklamdan bağımsız olarak pazar bu dönemde yüzde 10 büyümüş. A grubunun reklam olmasaydı yapacağı tahmini ciro 600.000 × 1,10 = 660.000 TL. Gerçekleşen ciro 780.000 TL olduğuna göre artımlı ciro 780.000 − 660.000 = 120.000 TL, artımlı ROAS ise 120.000 ÷ 100.000 = 1,2.

Panel aynı dönemde 300.000 TL ciro atfetmiş olsun; panelin ROAS'ı 300.000 ÷ 100.000 = 3,0 görünür. Artımlı rakam bunun 1,2 ÷ 3,0 = 0,4 katı, yani panelde okuduğunuz getirinin yüzde 40'ı kadardır. Kalan kısım reklam olmasa da gelecek satışlardı.

Asıl karar bir adım sonrada. Brüt marjınız yüzde 40 ise başabaş noktanız 1 ÷ 0,40 = 2,5 ROAS'tır; kendi marjınızla bu eşiği başabaş ROAS hesaplama aracında çıkarabilirsiniz. Artımlı ROAS 1,2 olduğuna göre harcadığınız her 1 TL, 1,20 TL artımlı ciro ve 1,20 × 0,40 = 0,48 TL brüt kâr üretiyor. 1 TL harcayıp 0,48 TL kâr aldığınız için fark başına 0,52 TL zarardasınız. Reklamı kapattığınız B tarafında da benzer bir artımlılık beklerseniz, o tarafta dört hafta boyunca 100.000 × 0,52 = 52.000 TL zarardan kaçınmışsınız demektir. Bunu ancak test bittikten sonra bilebilirdiniz; testin bedeli de riski de burada.

Sonuç belirsiz çıktığında ne yapmalısınız

Belirsiz sonuç, olumsuz sonuç değildir. İki grup arasındaki fark az önce hesapladığınız gürültü bandının içinde kalıyorsa, test size reklamın işe yaramadığını söylemez; bu kurulumla cevabı ölçemediğinizi söyler. Aradaki ayrımı kaçırmak en pahalı hatadır, çünkü işleyen bir kanalı kapatmaya kadar gider.

Bu noktada üç seçeneğiniz var: holdout oranını büyüterek kontrol grubunun dönüşüm hacmini artırmak, testi bir blok daha uzatıp veriyi biriktirmek, ya da bu bütçede deneyin okunamayacağını kabul edip toplam ciro ile toplam harcamayı takip eden bir düzene dönmek. Testi tekrarlayıp hoşunuza giden turu rapor etmek seçenek değil; aynı deneyi yeterince tekrarlarsanız er geç istediğiniz sonucu görürsünüz.

Kurulumu bozan yaygın hatalar

Kontrol bölgesine ülke geneli kampanyalardan, yeniden pazarlamadan veya markanızın organik erişiminden reklam sızması.
Bir kanalı kapatırken diğerini serbest bırakmak. Meta kapanınca marka aramaları artar; Google tarafı sabitlenmezse ölçtüğünüz şey kanal kayması olur.
Test süresince e-posta, indirim veya bayi kampanyası gibi ikinci bir değişkeni devreye sokmak.
Kontrol grubunu en zayıf şehirlerden kurmak. Grupları performansa göre değil, test öncesi ciroya göre eşleştirin.
Sonucu panelin kendi raporundan okumaya çalışmak. Coğrafi testte tek geçerli kaynak sipariş veritabanınızdır.

Artımlı getiriyi bir kez ölçtüğünüzde bütçe kararları başka bir zemine oturur: hangi kanalın gerçekten ek satış ürettiğini bilirsiniz ve ölçekleme tartışması panel rakamı üzerinden değil bu rakam üzerinden yürür. Otomatik ölçeklendirme yaklaşımını değerlendirirken de referans aldığınız getiri tanımının hangisi olduğunu net tutun. Testi altı ayda bir tekrarlayın; pazar, kreatif ve rekabet değiştikçe artımlılık da değişir.