2014. 03. 19. Prezi
Dr. Csesznák Anita
csesznak.anita@pszfb.bgf.hu
 AB teszt vagy "split run": olyan tesztelési
eljárás, amikor két vagy többféle verziót
tesztelünk annak érdekében, hogy
m...
 Statisztikailag ez egy kétmintás próba
 Két független sokaság paraméterének
összehasonlítása
 (Párosított próbák)
 Várható érték (átlag)
Az oldalon eltöltött idő, illetve annak átlaga
 Szórás
Gyakorlati szempontból várható érték teszt...
 Hipotézis: egy vagy több sokaságra vonatkozó
állítás, feltevés.
 Nullhipotézis és alternatív hipotézis felírása
Nullhip...
 Statisztikai próba: a hipotézisvizsgálat eszköze.
A próba olyan eljárás, amelynek során a mintából
származó információk ...
 Az elsőfajú hiba: szignifikancia-szint, alfa,
leggyakrabban 5%.
 Másodfajú hiba: nem számítható
egyértelműen, értéke a ...
 Bírósági gyakorlat:
ártatlan, de elítélik: elsőfajú hiba
bűnös, de felmentik: másodfajú hiba
 Gyógyszeripar:
hatástalan...
Az ismeretlen
valóságban
A nullhipotézist
elfogadjuk Elvetjük
Nincs különbség a
két verzió között
Helyes
döntés
Felesleges...
 A próba Z (standard normális) eloszlású
 A próbafüggvény:
2
22
1
11
021
)1()1(
)(
n
pp
n
pp
pp
z






 Két független minta
 Nagy minták (legalább 100-100 egyed)
 Normális eloszlású sokaság
 A verzió: 110 elemű minta, 68%
 B verzió: 100 elemű minta, 60%
 Állítható-e ezek alapján, hogy az A verzió
hatásosabb?...
 Továbbra is 68% az arány az A verzió
esetében;
 és 60% a B verziónál, de egyre nagyobb
mintákra.
 Folytonosan emelem a...
y = 0.0854x0.5
R² = 1
0
0.5
1
1.5
2
2.5
3
3.5
0 200 400 600 800 1000 1200
Apróbafüggvényértéke
Mintaelemszám
A próbafüggvé...
0
0.02
0.04
0.06
0.08
0.1
0.12
150 350 550 750 950 1150 1350
p-érték
Együttes mintaelemszám
Szignifikanciaszint a minta el...
 Addig folytatom a tesztelést, amíg el nem
utasíthatom a nullhipotézist!
 Ezzel szinte biztosan „hamis pozitív” jelzést
...
 Csak nagy mintákra alkalmazható a
próbafüggvény
 Kerülendő a túl nagy minták használata, mert
azok alapján a nullhipoté...
 Rendszerint a nullhipotézistől való olyan
eltérések az igazán lényegesek, melyek még
kis minta alapján is szignifikánsna...
 Az előző példa: 100-110 elem.
 Ha változtatjuk a belső arányokat, az nem
befolyásolja a döntésünket.
 A döntésre az eg...
0
0.01
0.02
0.03
0.04
0.05
0.06
0.07
0.08
0.09
0.1
150 350 550 750 950 1150 1350 1550
p-érték
Együttes mintaelemszám
Szign...
 Alkalmas minta
 A minták nagysága
 A próbafüggvény alkalmazásának feltételei
 Továbbiak:
- visszatérés a várható érté...
Upcoming SlideShare
Loading in …5
×

A b teszt_f

348 views
187 views

Published on

Published in: Education
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
348
On SlideShare
0
From Embeds
0
Number of Embeds
6
Actions
Shares
0
Downloads
4
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

A b teszt_f

  1. 1. 2014. 03. 19. Prezi Dr. Csesznák Anita csesznak.anita@pszfb.bgf.hu
  2. 2.  AB teszt vagy "split run": olyan tesztelési eljárás, amikor két vagy többféle verziót tesztelünk annak érdekében, hogy megtaláljuk melyik a leghatékonyabb.  Probléma: nem mindegy, hogy két vagy többféle verzió mit mérünk hatékonyság
  3. 3.  Statisztikailag ez egy kétmintás próba  Két független sokaság paraméterének összehasonlítása  (Párosított próbák)
  4. 4.  Várható érték (átlag) Az oldalon eltöltött idő, illetve annak átlaga  Szórás Gyakorlati szempontból várható érték teszt előtt, alkalmazási feltétel  Arány Megnyitás (kattintás) száma a minta elemszámához viszonyítva
  5. 5.  Hipotézis: egy vagy több sokaságra vonatkozó állítás, feltevés.  Nullhipotézis és alternatív hipotézis felírása Nullhipotézis Alternatív hipotézis Elnevezés Egyoldalú (jobboldali) alternatív Egyoldalú (baloldali) alternatív Kétoldalú alternatív 210 : uuH  211 : uuH  211 : uuH  211 : uuH 
  6. 6.  Statisztikai próba: a hipotézisvizsgálat eszköze. A próba olyan eljárás, amelynek során a mintából származó információk alapján döntünk a nullhipotézis elfogadásáról vagy elutasításáról. Az ismeretlen valóságban A nullhipotézist elfogadjuk Elvetjük A nullhipotézis igaz Helyes döntés Elsőfajú hiba A nullhipotézis hamis Másodfajú hiba Helyes döntés
  7. 7.  Az elsőfajú hiba: szignifikancia-szint, alfa, leggyakrabban 5%.  Másodfajú hiba: nem számítható egyértelműen, értéke a valóságban ténylegesen fennálló helyzettől függ.
  8. 8.  Bírósági gyakorlat: ártatlan, de elítélik: elsőfajú hiba bűnös, de felmentik: másodfajú hiba  Gyógyszeripar: hatástalan, de bevezetik: elsőfajú hiba hatásos, de mégsem vezetik be: másodfajú hiba.
  9. 9. Az ismeretlen valóságban A nullhipotézist elfogadjuk Elvetjük Nincs különbség a két verzió között Helyes döntés Felesleges várakozás Van különbség a két verzió között Elmaradt haszon Helyes döntés
  10. 10.  A próba Z (standard normális) eloszlású  A próbafüggvény: 2 22 1 11 021 )1()1( )( n pp n pp pp z      
  11. 11.  Két független minta  Nagy minták (legalább 100-100 egyed)  Normális eloszlású sokaság
  12. 12.  A verzió: 110 elemű minta, 68%  B verzió: 100 elemű minta, 60%  Állítható-e ezek alapján, hogy az A verzió hatásosabb?  A próbafüggvény értéke: 1,24  A p-érték: 10,8%  A nullhipotézist megtartom, statisztikailag nem igazolható a két verzió közötti különbség.
  13. 13.  Továbbra is 68% az arány az A verzió esetében;  és 60% a B verziónál, de egyre nagyobb mintákra.  Folytonosan emelem a minta nagyságát, vagy „folytatom a tesztet”.  Kiszámítható a próbafüggvény értéke a különböző mintanagyságok esetében.
  14. 14. y = 0.0854x0.5 R² = 1 0 0.5 1 1.5 2 2.5 3 3.5 0 200 400 600 800 1000 1200 Apróbafüggvényértéke Mintaelemszám A próbafüggvény értéke a minta elemszámának növelése mellett
  15. 15. 0 0.02 0.04 0.06 0.08 0.1 0.12 150 350 550 750 950 1150 1350 p-érték Együttes mintaelemszám Szignifikanciaszint a minta elemszámának függvényében
  16. 16.  Addig folytatom a tesztelést, amíg el nem utasíthatom a nullhipotézist!  Ezzel szinte biztosan „hamis pozitív” jelzést kapok.  Jelen esetben ha 370 fölé emelem a minta elemszámát, akkor már biztosan elutasítanám a nullhipotézist.
  17. 17.  Csak nagy mintákra alkalmazható a próbafüggvény  Kerülendő a túl nagy minták használata, mert azok alapján a nullhipotézis még az attól való igen kis eltérések alapján is elvethető.  Szakmai szempontból az eltérés lehet, hogy jelentéktelen.
  18. 18.  Rendszerint a nullhipotézistől való olyan eltérések az igazán lényegesek, melyek még kis minta alapján is szignifikánsnak mutatkoznak.  Ehhez ugyanis a kis mintákra jellemző viszonylag nagy mintavételi ingadozások következtében a kiinduló hipotézistől való jelentős eltérésekre van szükség.
  19. 19.  Az előző példa: 100-110 elem.  Ha változtatjuk a belső arányokat, az nem befolyásolja a döntésünket.  A döntésre az együttes mintaelemszám van hatással, s nem a belső arányok.
  20. 20. 0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1 150 350 550 750 950 1150 1350 1550 p-érték Együttes mintaelemszám Szignifikanciaszint a minta elemszámának függvényében 100- 160
  21. 21.  Alkalmas minta  A minták nagysága  A próbafüggvény alkalmazásának feltételei  Továbbiak: - visszatérés a várható értékhez - több verzió összehasonlítása (variancia- analízis)

×