Veri Bilimi Okulu tarafından organize edilen Veri Bilimci Yetiştirme Programı kapsamında öğrendiğimiz A/B Testing ile ilgili proje sunumum.

1. A/B Testing
A B

2. Popülasyon içerisinden özelliğini
temsil ettiğini varsaydığımız bazı
kriterlerce bir alt kümedir.
Kitle
Örneklem

3. A/B TESTİ NEDİR?
A/B testi, hangisinin daha iyi performans gösterdiğini belirlemek için
aynı iki farklı grubun (A ve B) karşılaştırma tekniğidir.

4. A/B Testi
A/B Testinin
Beş Adımı
01
05
02
03
Veri Analizi
Aksiyon
Hipotezi Kur
1- Normallik Varsayımı
2- Varyans Homojenliği Varsayımı
Varsayım Kontrolü
04
Hipotezin Uygulanması

5. 01
Veri Analizi

6. İş Problemi :
Bir şirket kısa süre önce mevcut teklif verme türüne alternatif olarak yeni bir teklif türü tanıttı .
Müşterilerden biri olan abc.veribilimi.com bu özelliği test etme karar verdi ve yeni teklif verme
türünün , mevcut teklif verme türünden daha fazla dönüşüm getirip getirmediğini anlamak
için A/B testi yapmak istiyor. ab testi yapmak istiyor
Veri Seti Hikayesi :
abc.veribilimi.com’un web site bilgilerini içeren ilgili veri setinde kullanıcıların gördükleri ve
tıkladıkları reklam sayıları gibi bilgilerin yanı sıra buradan gelen kazanç bilgileride yer
almaktadır. İlgili veri setinde kontrol ve test grubu vardır.

7. Veriye İlk Bakış

8. Değişkenleri Tanıma
Test
Grup
Reklam görüntüleme sayısı
Impression
Click
Purchase
Earning
Kontrol
Grup
Görüntülenen reklama
tıklanma sayısını belirtir.
Tıklanan reklamlar sonrası satın
alınan ürün sayısını belirtir.
Satın alınan ürünler sonrası
elde edilen kazanç

9. Kontrol ve Test Grubu Yapısal Bilgiler
Değişken İsmi Değişken Türü Eksik Gözlem Sayısı
Impression Numerik 0
Click Numerik 0
Purchase Numerik 0
Earning Numerik 0

10. Kontrol ve Test Grubu Betimsel İstatistikler

11. 02
Hipotez Kurma

12. HO : M1 = M2 (Mevcut ile Yeni teklif verme türü arasında istatistiki olarak anlamlı fark yoktur.
H1 : M1 ≠ M2 (Mevcut ile Yeni teklif verme türü arasında istatistiki olarak anlamlı fark vardır.
Hipotez Tanımlama

13. 03
1- Normallik Varsayımı
2- Varyans Homojenliği Varsayımı
Varsayım Kontrolü

14. Varsayım Kontrolü
1 - Normallik Varsayımı
HO : Normal Dağılım sağlanmaktadır.
H1 : Normal Dağılım sağlanmamaktadır.
Kontrol Grubu
Ho reddedilemez. Normal dağılım varsayımı
sağlanmaktadır.
Test Grubu
Ho reddedilemez. Normal dağılım varsayımı
sağlanmaktadır.

15. Ho: Varyanslar Homojendir
H1: Varyanslar Homojen Değildir.
Ho reddedilemez.
Varyanslar Homojendir
2 - Varyans Homojenliği varsayımı

16. 04
Hipotezin Uygulanması

17. Hipotezin Uygulanması (A/B Testi )
P-value > 0.05 olduğu için Ho reddedilemez
Mevcut ile Yeni teklif verme türü arasında
istatistiki olarak anlamlı bir fark yoktur.
Varsayımlar sağlandığından parametrik t testi
uygulanmıştır.(bağımsız iki örneklem t testi).
Test istatistiği ve p-value değerleri çıktıda verilmiştir.

18. Aksiyon
Hipotez testi sonucunda iki grup arasında satın alma(purchase) değişkeni üzerinden
anlamlı bir farklılık bulunamadı. Peki biz hangi grubu seçmeliyiz?
Öncelikle bu değişkenin (purchase) ortalamalarına bakabiliriz ya da grupların diğer
değişkenler üzerinden bir farklılık oluşturup oluşturmadığına bakabiliriz.
05

19. A B
Kontrol Grup Test Grup
550.894058 582.106096

21. sonuç
Yapılan A/B testi sonucunda iki grup arasında istatistiki olarak anlamlı bir farklılık yoktur.
Mevcut sisteme kıyasla şirketin satın almalarında ortalama yaklaşık yüzde 6 artış
gözlenmektedir. Yatırımların orta ve uzun vadede yapıldığı düşünüldüğünde tek bir değişken
göz önünde bulundurarak kararı verilmesi riskli olacaktır. Düzenli analizlerle takip edilerek
mevcut sistem ile ilerlenmesi ve bunu ön görerek maliyeti düşük getirisi yüksek olması göz
önünde bulundurularak grup seçimi yapılması iyi olabilir.

22. Kübra BİLİNMİŞ
kubrabilinmis@gmail.com
TEŞEKKÜRLER !