1. 2014. 03. 19. Prezi
Dr. Csesznák Anita
csesznak.anita@pszfb.bgf.hu
2. AB teszt vagy "split run": olyan tesztelési
eljárás, amikor két vagy többféle verziót
tesztelünk annak érdekében, hogy
megtaláljuk melyik a leghatékonyabb.
Probléma:
nem mindegy, hogy két vagy többféle verzió
mit mérünk
hatékonyság
3. Statisztikailag ez egy kétmintás próba
Két független sokaság paraméterének
összehasonlítása
(Párosított próbák)
4. Várható érték (átlag)
Az oldalon eltöltött idő, illetve annak átlaga
Szórás
Gyakorlati szempontból várható érték teszt
előtt, alkalmazási feltétel
Arány
Megnyitás (kattintás) száma a minta
elemszámához viszonyítva
5. Hipotézis: egy vagy több sokaságra vonatkozó
állítás, feltevés.
Nullhipotézis és alternatív hipotézis felírása
Nullhipotézis Alternatív
hipotézis
Elnevezés
Egyoldalú (jobboldali)
alternatív
Egyoldalú (baloldali)
alternatív
Kétoldalú alternatív
210 : uuH
211 : uuH
211 : uuH
211 : uuH
6. Statisztikai próba: a hipotézisvizsgálat eszköze.
A próba olyan eljárás, amelynek során a mintából
származó információk alapján döntünk a
nullhipotézis elfogadásáról vagy elutasításáról.
Az ismeretlen
valóságban
A nullhipotézist
elfogadjuk Elvetjük
A nullhipotézis
igaz
Helyes
döntés
Elsőfajú
hiba
A nullhipotézis
hamis
Másodfajú
hiba
Helyes
döntés
7. Az elsőfajú hiba: szignifikancia-szint, alfa,
leggyakrabban 5%.
Másodfajú hiba: nem számítható
egyértelműen, értéke a valóságban
ténylegesen fennálló helyzettől függ.
8. Bírósági gyakorlat:
ártatlan, de elítélik: elsőfajú hiba
bűnös, de felmentik: másodfajú hiba
Gyógyszeripar:
hatástalan, de bevezetik: elsőfajú hiba
hatásos, de mégsem vezetik be: másodfajú
hiba.
10. A próba Z (standard normális) eloszlású
A próbafüggvény:
2
22
1
11
021
)1()1(
)(
n
pp
n
pp
pp
z
11. Két független minta
Nagy minták (legalább 100-100 egyed)
Normális eloszlású sokaság
12. A verzió: 110 elemű minta, 68%
B verzió: 100 elemű minta, 60%
Állítható-e ezek alapján, hogy az A verzió
hatásosabb?
A próbafüggvény értéke: 1,24
A p-érték: 10,8%
A nullhipotézist megtartom, statisztikailag
nem igazolható a két verzió közötti
különbség.
13. Továbbra is 68% az arány az A verzió
esetében;
és 60% a B verziónál, de egyre nagyobb
mintákra.
Folytonosan emelem a minta nagyságát, vagy
„folytatom a tesztet”.
Kiszámítható a próbafüggvény értéke a
különböző mintanagyságok esetében.
14. y = 0.0854x0.5
R² = 1
0
0.5
1
1.5
2
2.5
3
3.5
0 200 400 600 800 1000 1200
Apróbafüggvényértéke
Mintaelemszám
A próbafüggvény értéke a minta elemszámának
növelése mellett
16. Addig folytatom a tesztelést, amíg el nem
utasíthatom a nullhipotézist!
Ezzel szinte biztosan „hamis pozitív” jelzést
kapok.
Jelen esetben ha 370 fölé emelem a minta
elemszámát, akkor már biztosan
elutasítanám a nullhipotézist.
17. Csak nagy mintákra alkalmazható a
próbafüggvény
Kerülendő a túl nagy minták használata, mert
azok alapján a nullhipotézis még az attól
való igen kis eltérések alapján is elvethető.
Szakmai szempontból az eltérés lehet, hogy
jelentéktelen.
18. Rendszerint a nullhipotézistől való olyan
eltérések az igazán lényegesek, melyek még
kis minta alapján is szignifikánsnak
mutatkoznak.
Ehhez ugyanis a kis mintákra jellemző
viszonylag nagy mintavételi ingadozások
következtében a kiinduló hipotézistől való
jelentős eltérésekre van szükség.
19. Az előző példa: 100-110 elem.
Ha változtatjuk a belső arányokat, az nem
befolyásolja a döntésünket.
A döntésre az együttes mintaelemszám van
hatással, s nem a belső arányok.
21. Alkalmas minta
A minták nagysága
A próbafüggvény alkalmazásának feltételei
Továbbiak:
- visszatérés a várható értékhez
- több verzió összehasonlítása (variancia-
analízis)
