Kreatif test planı nasıl kurulur

Kreatif test planı, hangi değişkenin hangi sırayla, kaç varyantla ve ne kadar bütçeyle sınanacağını reklamlar yayına girmeden önce yazmaktır. Tek bir testin nasıl kurulacağını A/B testi yazımızda ele aldık; buradaki konu bir seviye yukarısı. Hesabın tamamında aynı anda kaç test döneceği, test bütçesiyle ölçekleme bütçesinin nasıl ayrılacağı ve sıradaki testin neye göre seçileceği, tek bir testi kusursuz kurmaktan daha belirleyicidir. Ayrı ayrı doğru kurulmuş on test bile, bütçeyi yanlış böldüğünüzde okunamaz kalır.

Kreatif test planı dört karardan oluşur

Plan dediğimiz belge, dört sorunun önceden verilmiş cevabıdır ve dördü birbirine kilitlidir. Birini değiştirdiğinizde kalan üçü yeniden hesaplanmak zorundadır.

• Değişken hiyerarşisi: sırayla neyi değiştiriyorsunuz.
• Varyant sayısı: aynı pencerede kaç kreatif yarışıyor.
• Varyant başına bütçe: her birinin altında günde ne kadar para var.
• Test ve ölçekleme ayrımı: aylık bütçenin ne kadarı öğrenmeye, ne kadarı çalıştığı zaten bilinen kreatife gidiyor.

Çoğu hesapta eksik olan, bu kararların hiç verilmemiş olması değil, birbirinden habersiz verilmiş olmasıdır. Varyant sayısına tasarım kapasitesine bakarak, bütçeye ise ay başında eldeki rakama bakarak karar verilir. İkisi birbirini görmediği için test biter, ekranda sayılar durur ama hiçbiri bir karara dönüşmez.

Değişken hiyerarşisi: önce neyi değiştiriyorsunuz

Değişkenleri üretim kolaylığına göre değil, reklamı ne kadar değiştirdiklerine göre sıralayın. Kabaca dört kademe var:

• Vaat: reklamın ne söylediği, hangi problemi hangi sonuca bağladığı. En büyük fark burada çıkar. Mesaj açılarının birbirinden nasıl ayrıştırıldığı başlı başına ayrı bir konu; bu yazıda açı listesine girmiyoruz.
• Format: statik görsel, video, karusel; ürün odaklı çekim mi yoksa insan odaklı çekim mi.
• Açılış: videonun ilk karesi, statikte gözün ilk gittiği alan, başlık satırı.
• Detay: metin uzunluğu, buton yazısı, renk, kırpma oranı.

Kural tek cümle: üst kademe oturmadan alt kademeyi test etmeyin. Vaadin doğru olup olmadığını bilmezken buton yazısını sınamak, küçük bir farkı büyük bir gürültünün içinde ölçmeye çalışmaktır. Alt kademe testleri yalnızca kazanan üst kademenin içinde anlamlıdır: format kazandıktan sonra o formatın açılışını test edersiniz, elenen formatın açılışını değil.

Bu sıralamanın asıl faydası şurada: kademe indikçe varyantlar birbirine benzer, benzeyen varyantlar arasındaki fark küçülür, küçülen farkı görebilmek için de daha çok bütçe gerekir. Yani hiyerarşi aslında gizli bir bütçe kararıdır ve doğrudan bir sonraki bölüme bağlanır.

Aynı pencerede kaç varyant döndürmeli

Varyant sayısı bir zevk meselesi değil, bir bölme işlemidir. Test bütçenizi kaça bölerseniz her varyantın altında o kadar az veri birikir. Somut bir örnek kuralım ve bu örneği yazının sonuna kadar taşıyalım.

Aylık reklam bütçeniz 60.000 TL olsun. Bunun yüzde otuzunu teste ayırdınız: 60.000 × 0,30 = 18.000 TL aylık test bütçesi. Otuz güne bölünce günlük test bütçesi 18.000 ÷ 30 = 600 TL çıkar. Test penceresini 14 gün seçtiniz, yani bu turda teste giden toplam para 600 × 14 = 8.400 TL. Hesabınızdaki mevcut dönüşüm başı maliyet de 250 TL olsun. O hâlde bu 14 günlük pencerede test bütçesinden çıkacak toplam dönüşüm sayısı 8.400 ÷ 250 = 33,6 civarındadır.

Kritik nokta şu: bu 33,6 rakamı varyant sayısından bağımsızdır. Varyant sayısı toplam öğrenmeyi büyütmez, yalnızca onu kaça böldüğünüzü belirler. Aynı 14 günlük pencerede:

• Sekiz varyantla: günlük varyant bütçesi 600 ÷ 8 = 75 TL, pencere boyunca 75 × 14 = 1.050 TL, yani varyant başına 1.050 ÷ 250 = 4,2 dönüşüm.
• Üç varyantla: günlük varyant bütçesi 600 ÷ 3 = 200 TL, pencere boyunca 200 × 14 = 2.800 TL, yani varyant başına 2.800 ÷ 250 = 11,2 dönüşüm.

Üç varyantlı kurgu, varyant başına sekiz varyantlı kurgunun yaklaşık 2,7 katı dönüşüm biriktiriyor: 11,2 ÷ 4,2 = 2,67. Harcanan para aynı, pencere aynı, toplam dönüşüm aynı. Değişen tek şey, her varyantın altındaki zeminin kalınlığı.

İşlemi tersine çevirirseniz varyant sayısı kendiliğinden çıkar. Varyant başına görmek istediğiniz dönüşüm sayısını dönüşüm başı maliyetle çarpın, test bütçesini o rakama bölün. Varyant başına en az 10 dönüşüm istiyorsanız gereken harcama 250 × 10 = 2.500 TL olur; ardından 8.400 ÷ 2.500 = 3,36 çıkar ve aşağı yuvarlarsınız: 3 varyant. Buradaki 10 sayısı bizim verdiğimiz bir sektör eşiği değil, sizin kendi karar eşiğiniz. Testi ne zaman durdurup okuyacağınız ve hangi hacmin karar için yeterli olduğu ayrı bir yazının konusu; plan onu hazır girdi olarak alır.

Test bütçesiyle ölçekleme bütçesini ayırmak

Örnekte aylık 60.000 TL'nin 18.000 TL'si teste gitti. Geriye 60.000 − 18.000 = 42.000 TL kaldı ve bu ölçekleme bütçesidir: kazandığı zaten bilinen kreatiflerin arkasındaki para. Günlük karşılıkları 42.000 ÷ 30 = 1.400 TL ölçekleme ve 600 TL test; toplamı 600 + 1.400 = 2.000 TL.

Bu iki kalemi ayrı tutmanın sebebi muhasebe değil, karar hijyeni. Test kreatiflerini ölçeklenen kampanyanın içine attığınızda dağıtım, kısa vadede en ucuz sonucu getiren kreatife kayar; yeni varyantlarınız da kendini kanıtlayacak harcamaya hiç ulaşamadan sönümlenir. Test kreatiflerini ayrı bir kampanyada veya ayrı bir reklam setinde tutmak varyant başına bütçeyi ölçeklemeden ayırır ve kontrolü kolaylaştırır, ama tek başına her varyanta eşit harcama gideceğini garanti etmez; platform dağıtımı burada da performansa göre kayabilir, bu yüzden varyantlar arası harcama dağılımını pencere boyunca izleyin. Yukarıdaki bölme işlemi bu dağılımı takip ettiğiniz sürece geçerli bir yaklaşık değerdir.

Örnekteki yüzde otuz bir standart değil, bu yazının varsayımı. Kendi oranınızı üç kısıt belirler. Ölçekleme tarafındaki kreatif çeşitliliği: bütün harcamanız tek bir kreatifin üzerindeyse test payı sizin sigortanızdır, kısmayın. Hesabın günlük dönüşüm hacmi: hacim düşükken yüksek test payı hem testi hem ölçeklemeyi aç bırakır. Kreatif üretim hızınız: üretemeyeceğiniz varyantlar için bütçe ayırmanın karşılığı yoktur. Kampanyanız için gereken toplam bütçeyi belirlemek üzere reklam bütçesi hesaplama aracını kullanabilir, çıkan sonucu test ve ölçekleme oranlarınıza göre paylaştırabilirsiniz.

Ölçekleme tarafının kendi kuralları için ölçekleme stratejileri yazısına bakın; burada onu yalnızca testin karşı kefesi olarak ele alıyoruz.

Sıradaki testi kim seçer

Plan, biten testin yerine ne geleceğini de söylemek zorunda. Kuyruğu üç kural besler:

• En büyük bilinmeyen önce girer, en kolay üretilen değil. Elinizde beş hazır görsel varyantı var diye vaat testinin sırasını atlamak, kuyruğu üretim kapasitesine teslim etmek demektir.
• Her test tek bir kademede oynar. İki kademeyi aynı anda değiştirdiğinizde bir kazanan çıkar ama nedenini bilemezsiniz; bu da bir sonraki testin girdisini yok eder.
• Biten her test iki sonuçtan birini üretir: ya bir varyant ölçekleme bütçesine terfi eder, ya da o değişken bir süreliğine kapanır. Sonuç net değil, sonra bakarız demek üçüncü bir seçenek değildir; kuyruğu tıkar ve bütçeyi meşgul eder.

Kuyruğun okunabilir kalması için varyantların tutarlı bir şemayla adlandırılması gerekir, ama bu kendi başına ayrı bir disiplindir. Kazanan kreatifin yorulduğunda nasıl yenileneceği de bu planın değil, kreatif yenileme döngüsünün konusudur. Kreatif üretim ve optimizasyon tarafının ürün karşılığı için kreatif optimizasyon sayfasına bakabilirsiniz.

Planı tek sayfada tutmak

Dört karar tek bir tabloya sığar; sığmıyorsa plan zaten fazla karmaşıklaşmıştır. Her satır bir testtir ve sütunlar şunlardır: hipotez cümlesi, oynanan kademe, varyant sayısı, varyant başına günlük bütçe, pencere uzunluğu, kararı verecek kişi, sonuç. Yedi sütun. Sekizinciye ihtiyaç duyduğunuzu hissediyorsanız testi ikiye bölün.

Planın işe yarayıp yaramadığını anlamanın tek yolu geriye dönüp bakmaktır. Son üç ayda kaç test bitti, kaçı ölçekleme bütçesine bir kreatif terfi ettirdi, kaçı hiçbir şey söylemeden kapandı? Sonuncunun payı yüksekse sorun büyük ihtimalle kreatiflerinizde değil, varyant başına düşen bütçededir. Çaresi de belli: varyant sayısını azaltın, pencereyi uzatın ya da test payını büyütün. Üçü de aynı bölme işleminin farklı uçlarıdır.