Your SlideShare is downloading. ×

A b teszt_f

107
views

Published on

Published in: Education

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
107
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
2
Comments
0
Likes
1
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 2014. 03. 19. Prezi Dr. Csesznák Anita csesznak.anita@pszfb.bgf.hu
  • 2.  AB teszt vagy "split run": olyan tesztelési eljárás, amikor két vagy többféle verziót tesztelünk annak érdekében, hogy megtaláljuk melyik a leghatékonyabb.  Probléma: nem mindegy, hogy két vagy többféle verzió mit mérünk hatékonyság
  • 3.  Statisztikailag ez egy kétmintás próba  Két független sokaság paraméterének összehasonlítása  (Párosított próbák)
  • 4.  Várható érték (átlag) Az oldalon eltöltött idő, illetve annak átlaga  Szórás Gyakorlati szempontból várható érték teszt előtt, alkalmazási feltétel  Arány Megnyitás (kattintás) száma a minta elemszámához viszonyítva
  • 5.  Hipotézis: egy vagy több sokaságra vonatkozó állítás, feltevés.  Nullhipotézis és alternatív hipotézis felírása Nullhipotézis Alternatív hipotézis Elnevezés Egyoldalú (jobboldali) alternatív Egyoldalú (baloldali) alternatív Kétoldalú alternatív 210 : uuH  211 : uuH  211 : uuH  211 : uuH 
  • 6.  Statisztikai próba: a hipotézisvizsgálat eszköze. A próba olyan eljárás, amelynek során a mintából származó információk alapján döntünk a nullhipotézis elfogadásáról vagy elutasításáról. Az ismeretlen valóságban A nullhipotézist elfogadjuk Elvetjük A nullhipotézis igaz Helyes döntés Elsőfajú hiba A nullhipotézis hamis Másodfajú hiba Helyes döntés
  • 7.  Az elsőfajú hiba: szignifikancia-szint, alfa, leggyakrabban 5%.  Másodfajú hiba: nem számítható egyértelműen, értéke a valóságban ténylegesen fennálló helyzettől függ.
  • 8.  Bírósági gyakorlat: ártatlan, de elítélik: elsőfajú hiba bűnös, de felmentik: másodfajú hiba  Gyógyszeripar: hatástalan, de bevezetik: elsőfajú hiba hatásos, de mégsem vezetik be: másodfajú hiba.
  • 9. Az ismeretlen valóságban A nullhipotézist elfogadjuk Elvetjük Nincs különbség a két verzió között Helyes döntés Felesleges várakozás Van különbség a két verzió között Elmaradt haszon Helyes döntés
  • 10.  A próba Z (standard normális) eloszlású  A próbafüggvény: 2 22 1 11 021 )1()1( )( n pp n pp pp z      
  • 11.  Két független minta  Nagy minták (legalább 100-100 egyed)  Normális eloszlású sokaság
  • 12.  A verzió: 110 elemű minta, 68%  B verzió: 100 elemű minta, 60%  Állítható-e ezek alapján, hogy az A verzió hatásosabb?  A próbafüggvény értéke: 1,24  A p-érték: 10,8%  A nullhipotézist megtartom, statisztikailag nem igazolható a két verzió közötti különbség.
  • 13.  Továbbra is 68% az arány az A verzió esetében;  és 60% a B verziónál, de egyre nagyobb mintákra.  Folytonosan emelem a minta nagyságát, vagy „folytatom a tesztet”.  Kiszámítható a próbafüggvény értéke a különböző mintanagyságok esetében.
  • 14. y = 0.0854x0.5 R² = 1 0 0.5 1 1.5 2 2.5 3 3.5 0 200 400 600 800 1000 1200 Apróbafüggvényértéke Mintaelemszám A próbafüggvény értéke a minta elemszámának növelése mellett
  • 15. 0 0.02 0.04 0.06 0.08 0.1 0.12 150 350 550 750 950 1150 1350 p-érték Együttes mintaelemszám Szignifikanciaszint a minta elemszámának függvényében
  • 16.  Addig folytatom a tesztelést, amíg el nem utasíthatom a nullhipotézist!  Ezzel szinte biztosan „hamis pozitív” jelzést kapok.  Jelen esetben ha 370 fölé emelem a minta elemszámát, akkor már biztosan elutasítanám a nullhipotézist.
  • 17.  Csak nagy mintákra alkalmazható a próbafüggvény  Kerülendő a túl nagy minták használata, mert azok alapján a nullhipotézis még az attól való igen kis eltérések alapján is elvethető.  Szakmai szempontból az eltérés lehet, hogy jelentéktelen.
  • 18.  Rendszerint a nullhipotézistől való olyan eltérések az igazán lényegesek, melyek még kis minta alapján is szignifikánsnak mutatkoznak.  Ehhez ugyanis a kis mintákra jellemző viszonylag nagy mintavételi ingadozások következtében a kiinduló hipotézistől való jelentős eltérésekre van szükség.
  • 19.  Az előző példa: 100-110 elem.  Ha változtatjuk a belső arányokat, az nem befolyásolja a döntésünket.  A döntésre az együttes mintaelemszám van hatással, s nem a belső arányok.
  • 20. 0 0.01 0.02 0.03 0.04 0.05 0.06 0.07 0.08 0.09 0.1 150 350 550 750 950 1150 1350 1550 p-érték Együttes mintaelemszám Szignifikanciaszint a minta elemszámának függvényében 100- 160
  • 21.  Alkalmas minta  A minták nagysága  A próbafüggvény alkalmazásának feltételei  Továbbiak: - visszatérés a várható értékhez - több verzió összehasonlítása (variancia- analízis)

×