Dönüşüm oranı optimizasyonu, düğme rengi değiştirme sanatı değildir. Özünde bir öğrenme disiplinidir: kullanıcının neyi neden yapmadığını anlamak, bunu test edilebilir bir iddiaya çevirmek ve sonucu dürüstçe okumak. Bu üç adımdan biri atlandığında elde kalan şey, rastgele değişikliklerin verdiği geçici bir heyecandan ibaret olur.
Hipotez, fikir değildir
"Formu kısaltalım" bir fikirdir. Hipotez ise gözleme dayanır, bir mekanizma önerir ve ölçülebilir bir sonuç iddia eder. Kullanışlı bir kalıp şudur: Şu gözleme dayanarak, şu değişikliğin şu kullanıcı grubunda şu metriği iyileştireceğini düşünüyoruz; çünkü şu davranışsal sebep.
Gözlem kısmı için üç kaynak yeterlidir: nicel veri (huni raporları, alan bazlı form terk analizi), nitel veri (oturum kayıtları, kullanılabilirlik testleri, destek talepleri) ve rakip/sektör incelemesi. Fikri veriden türetmek, test edilecek şeylerin sırasını da kendiliğinden belirler.
Örneklem ve süre: testi başlamadan planlayın
Bir testin kaç ziyaretçiye ihtiyaç duyduğunu belirleyen dört büyüklük vardır: mevcut dönüşüm oranı (temel), yakalamak istediğiniz en küçük anlamlı fark, istatistiksel anlamlılık düzeyi (yaygın olarak 0,05) ve testin gücü (yaygın olarak 0,80). Kural sezgiseldir: temel oran düştükçe ve yakalamak istediğiniz fark küçüldükçe gereken örneklem hızla büyür. Yüzde bir dönüşen bir sayfada yüzde beşlik göreli bir iyileşmeyi güvenle ölçmek, aylar süren trafiğe ihtiyaç duyabilir.
Örneklemi başlamadan hesaplayın ve buna karşılık gelen süreyi takvimde ayırın. Süre için iki ek kural geçerlidir: test tam haftalar boyunca çalışmalıdır, çünkü hafta içi ve hafta sonu davranışı farklıdır; ve satın alma döngüsü uzun bir işte, karar süresini kapsayacak kadar uzun sürmelidir. Genel uygulamada iki tam hafta alt sınır olarak kabul edilir.
En sık yapılan okuma hataları
- Erken bakıp erken durdurma. Teste her gün bakıp "anlamlı oldu" diye durdurmak, yanlış pozitif oranını ciddi biçimde şişirir. Planlanan örnekleme ulaşmadan karar vermeyin; sürekli izlemek istiyorsanız buna uygun sıralı test yöntemleri kullanın.
- Sonradan segment avı. Test kaybettiğinde "ama mobilde ve İstanbul'da kazandı" demek, yeterince alt küme denerseniz her zaman bir kazanan bulacağınız gerçeğini gizler. Segmentleri baştan tanımlayın.
- Yanlış birincil metrik. Tıklama oranı kolay yükselir; asıl soru, alt hunideki geliri veya nitelikli talebi bozmadan yükselip yükselmediğidir. Bir birincil metrik, birkaç koruma metriği belirleyin.
- Örneklem oranı sapması. Gruplara beklenen oranda trafik düşmüyorsa (örneğin yüzde elli yerine kırk beş) teknik bir kurulum hatası vardır; bu testin sonucu okunmaz, kurulum düzeltilip yeniden çalıştırılır.
- Yenilik etkisi. Yeni bir arayüz kısa vadede sırf yeni olduğu için farklı davranış üretebilir. Uzun soluklu değişikliklerde ilk günleri ayrı değerlendirin.
Az trafikli sitelerde ne yapmalı?
Her işin klasik A/B testini yürütecek trafiği yoktur. Bu durumda üç alternatif vardır. Birincisi, daha büyük değişiklikleri test etmek: küçük rötuşlar yerine sayfanın tamamını yeniden kurgulamak, ölçülebilir büyüklükte fark üretir. İkincisi, huni derinliğini değil, huni girişini ölçen testleri seçmek. Üçüncüsü ise testi tamamen bırakıp kullanılabilirlik testine ve nitel araştırmaya yönelmek: beş kullanıcıyla yapılan bir görev testi, çoğu kez istatistiksel güç eksikliğinden okunamayacak bir testten daha fazla şey öğretir.
Öğrenmeyi biriktirin
Test edilmeye değer alanlar
Sınırlı bir test kapasiteniz varsa, onu en çok belirsizliğin olduğu yere harcayın. Deneyimimizde en sık kazanç çıkan alanlar şunlardır: teklif ve iletişim formlarında istenen alan sayısı ve sıralaması, fiyatlandırma bilgisinin açıklığı, kritik sayfalarda hangi itirazın hangi sırada karşılandığı, ve sepet ya da form sürecinde ilerlemenin görünürlüğü.
Bir de test etmeden düzeltilmesi gereken şeyler vardır. Kırık bir doğrulama mesajı, mobilde tıklanamayan bir düğme, üç saniyeden uzun süren bir sayfa ya da erişilebilir olmayan bir form için test kurmayın; bunlar hipotez değil, hatadır. Testi ancak makul iki seçenek arasında gerçekten karar veremediğinizde kurun. Bu ayrım, ekip zamanını en çok koruyan alışkanlıklardan biridir.
Testlerin gerçek getirisi tek tek kazanımlar değil, zamanla oluşan bilgi birikimidir. Her test için hipotezi, kurulum ayrıntısını, örneklem planını, sonucu ve çıkarılan dersi tek bir kayıtta tutun. Kaybeden testler de bu kaydın parçasıdır; çünkü "bu yol işlemiyor" bilgisi, sonraki üç fikri elemenizi sağlar. Ölçüm altyapısı ve test planını birlikte kurmak isterseniz dijital pazarlama sayfasından süreci inceleyebilirsiniz.
