Szoftver-ergonómiai metrikák
?
●Ami eddig volt: alapelvek, tervezési / vizsgálati
módszerek, tervezés folyamata (KEFE-BELE)
●Ami most lesz: kicsit mély...
Mérés a szoftergben
●Amit nem mérünk az nincs is…
●Ha nem tudjuk, hogy hol tartunk most, honnan
tudjuk mikor értük el a cé...
Mit kéne mérni?
2010. október 21. Szofter-ergonómiai metrikák 4
Mit kéne mérni? 2.
2010. október 21. Szofter-ergonómiai metrikák 5
A mérés célja –> a teszt típusa
2010. október 21. Szofter-ergonómiai metrikák 6
Formáló
• Cél: a meglévő dolgok
javítása
•...
Adat típusok
2010. október 21. Szofter-ergonómiai metrikák 7
● Többféle adattípus van, attól függően mit mérünk
● Érdemes ...
Mit mérünk formálisan
● A használhatóság definíciója alapján:
(ISO 9241) 3.1 Használhatóság „Annak mértéke, ahogy a termék...
Metrikák típusai
●(TM) Teljesítmény
metrikák
●(TM1) Feladat eredmény
●(TM2) Feladat idő
●(TM3) Hibák
●(TM4) Hatékonyság
●(...
Teljesítmény metrikák
● Nem azt mérik, hogy a felhasználók mit gondolnak,
vagy mit mondanak, hanem hogy mit csinálnak
● A ...
(TM1) Feladat eredmény
● A legelterjedtebb metrika:
● A felhasználó hatásosságát méri egy adott feladat halmazra
● Ha a fe...
(TM1) Mérése
●Feladat eredmény mérésének van egy fontos
előfeltétele: Előre el kell dönteni mikor sikeres
a feladat, és mi...
(TM1) Megállási szabály
● Az alap gond: ha nem tudja megoldani a
felhasználó a feladatot, meddig tartson a teszt?
● Meg le...
(TM1) Bináris siker
●A feladat eredmény legegyszerűbb formája
●Két lehetőség van: siker vagy bukás
●Akkor érdemes használn...
(TM1) Szintes siker
● Ha megállapítható a siker mértéke, akkor szintes
sikerről beszélhetünk
● „Részpontszám”
● A feladat ...
(TM1) Szintes siker használata
● Általában 3-6 szintet használnak, leggyakrabban 3-
at:
● Siker
● Részsiker
● Kudarc
●(Leh...
(TM2) Feladat idő
●A hatékonyság méréséhez kiváló
●Általában minél gyorsabb, annál jobb a
felhasználónak
●Nem mindig a leg...
(TM2) Feladat idő mérése
●Feladat idő: a feladat elkezdése és befejezése
közt eltelt idő percekben (másodpercekben)
stoppe...
(TM3) Hibák
●Felhasználó hibázik -> általában tervezési
hibáról van, felületi vagy mélyebb
●Tetszőleges használati hibát é...
(TM3) Hiba típusok
Művelet
Szándékos
Helyes
használat
Helytelen
használat
Tévedés
Nem
szándékos
Csúszás Kihagyás
2010. okt...
(TM3) Hibák mérése
●A hibák méréséhez előre tisztázni kell a helyes
műveletek halmazát
●A hiba lehetőségeket is előre tudn...
(TM4) Hatékonyság
●A hatékonyságot lehetne mérni a feladat idővel
is, de még jobb, ha a feladat elvégzéséhez
szükséges erő...
(TM4) Hatékonyság mérése
●Mérés előtti teendők:
●Kell egy teljes + pontos lista a műveletekről
●A műveletek elejét és végé...
(TM5) Tanulhatóság
● A kezdő felhasználók még nem használják
hatékonyan a rendszert, az idő múltával
fokozatosan szereznek...
Viselkedési metrikák
●Mit csinál a felhasználó a teszt alatt
(verbalizáció, testbeszéd, fiziológiai adatok)
●Méréshez elők...
Önbeszámolt metrikák
●A legegyszerűbb gyűjteni: megkérdezzük a
felhasználót, mit gondol a rendszerről
●-> Kérdőív + interj...
SzHS
● Szabványos Használhatósági
Skála
● 10 kérdéses, Likert skálás,
attitűd vizsgáló kérdőív
● Az egész rendszerre ad eg...
Probléma alapú metrika
●Használhatósági problémának számít a felület
azon hibáit, amely csökkenti a hatékonyságot,
hatásos...
Különleges adat: Elérhetőség
●Elérhetőség: fogyatékkal élők mennyire tudják
a rendszert használni (->általában is javítja ...
Különleges adat: Naplók
● Az adatgyűjtés közvetett módja: a használati napló
file-okat elemezzük
● Az előnye, hogy a tényl...
Adat típusok elemzése
2010. október 21. Szofter-ergonómiai metrikák 31
● Lehet, hogy a nyers adat is hasznos, de előbb utó...
Olvasnivaló
●Measuring the User Experience: Collecting,
Analyzing, and Presenting Usability Metrics by Tom
Tullis and Bill...
Kérdések és vége
Polgár Péter Balázs
sirpepe@elte.hu
@polgarp
Upcoming SlideShare
Loading in …5
×

Metrikák

1,278 views
1,159 views

Published on

Published in: Technology, Sports
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,278
On SlideShare
0
From Embeds
0
Number of Embeds
289
Actions
Shares
0
Downloads
9
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Metrikák

  1. 1. Szoftver-ergonómiai metrikák
  2. 2. ? ●Ami eddig volt: alapelvek, tervezési / vizsgálati módszerek, tervezés folyamata (KEFE-BELE) ●Ami most lesz: kicsit mélyebben belemegyünk a technikai részletekbe !: ●Metrikák = mérőszámok ●Szofterg = használhatóság (usability) ●Verifikáció vs validáció 2010. október 21. Szofter-ergonómiai metrikák 2
  3. 3. Mérés a szoftergben ●Amit nem mérünk az nincs is… ●Ha nem tudjuk, hogy hol tartunk most, honnan tudjuk mikor értük el a célunkat? ●Számszerűsítve szofterges jellemzők = szofterg metrikák ●Többnyire felhasználó tesztek során… ●Alapkérdések: Mit, miért, hogyan 2010. október 21. Szofter-ergonómiai metrikák 3
  4. 4. Mit kéne mérni? 2010. október 21. Szofter-ergonómiai metrikák 4
  5. 5. Mit kéne mérni? 2. 2010. október 21. Szofter-ergonómiai metrikák 5
  6. 6. A mérés célja –> a teszt típusa 2010. október 21. Szofter-ergonómiai metrikák 6 Formáló • Cél: a meglévő dolgok javítása • A termék rendszeres, ismétlődő vizsgálata • Hibák/gyenge pontok azonosítása, javaslatok • A fejlesztés közben történik (befejezés előtt + minél korábban) Összegző • Cél: egy létező termék értékelése, több termék összehasonlítása • Van egy kritérium, amihez hasonlítunk • Eredménye egy újabb tevékenység (pl.: új termék vásárlása, projekt fejlesztésre)
  7. 7. Adat típusok 2010. október 21. Szofter-ergonómiai metrikák 7 ● Többféle adattípus van, attól függően mit mérünk ● Érdemes előre eldönteni, mit akarunk mérni, mert mindegyik típusnak van előnye és hátránya Típus Leírás Példa Nominális (kategóriák) Az elemek közt nincs rendezés, egyszerűen csak különbözőek A felhasználók típusai (oktató, hallgató, TO-s…) Ordinális (rang) Az elemek közt nincs meghatározott távolság, de van rendezés Prioritások egy fejlesztés céljainál Intervallum Az elemek közt folytonos különbség van, de nincs nulla pont Mennyire szereted a kávét 1-5-ig? Arány Intervallum adat rögzített nullával, az elemek közti különbség értelmezhető Az ETR-t használó lányok aránya
  8. 8. Mit mérünk formálisan ● A használhatóság definíciója alapján: (ISO 9241) 3.1 Használhatóság „Annak mértéke, ahogy a terméket meghatározott felhasználók meghatározott célokért hatásosan, hatékonyan és elégedetten használják egy adott környezetben.” ● Hatásos -> „Elvégezte a feladatát?” ● Hatékony -> „Milyen gyorsan végezte el a feladatát?” ● Elégedett -> ? „Közben mennyire érezte jól magát?” ● A használhatóság minőségi jellemzői alapján: ISO/IEC 9126-1:2001: Software engineering – Product Quality- Part 1: Qualty model, 6: Quality model for external and internal quality ● Tanulhatóság (Learnability) ● Érthetőség (Understandability) ● Működtethetőség (Operability) ● Vonzóság (Attractiveness) ● Megfelelősség (Compliance) 2010. október 21. Szofter-ergonómiai metrikák 8
  9. 9. Metrikák típusai ●(TM) Teljesítmény metrikák ●(TM1) Feladat eredmény ●(TM2) Feladat idő ●(TM3) Hibák ●(TM4) Hatékonyság ●(TM5) Tanulhatóság ●Viselkedési metrikák ●Önbeszámolt metrikák ●SzHS ●Probléma-alapú metrika ●Különleges adat ●Elérhetőség ●Naplók 2010. október 21. Szofter-ergonómiai metrikák 9
  10. 10. Teljesítmény metrikák ● Nem azt mérik, hogy a felhasználók mit gondolnak, vagy mit mondanak, hanem hogy mit csinálnak ● A mérés a felhasználó meghatározott viselkedéséről szól ● Lényegében: ● Legjobb mérés a hatásosságra és hatékonyságra ● A miről szól és nem a miértről ● Feladat központúak (teljesítmény meghatározott célért történő meghatározott feladat végrehajtása közben) ● A használhatóság alapja 2010. október 21. Szofter-ergonómiai metrikák 10
  11. 11. (TM1) Feladat eredmény ● A legelterjedtebb metrika: ● A felhasználó hatásosságát méri egy adott feladat halmazra ● Ha a feladatot könnyű meghatározni – könnyű mérni ● Mindig feladat alapú ● Két fő típus: ● Bináris ● Szintes ● Értékeléshez nem kell matekozni: ha sikeres, akkor minden ok, ha nem, akkor valami nem jó ● Ezért lehet verifikációra és validációra is használni 2010. október 21. Szofter-ergonómiai metrikák 11
  12. 12. (TM1) Mérése ●Feladat eredmény mérésének van egy fontos előfeltétele: Előre el kell dönteni mikor sikeres a feladat, és mikor nem ●Kell egy végállapot, ami elkülönül a feladattól ●Meg kell határozni, mi számít sikernek ●A mérés közben strukturált formában kapjuk az eredményt (űrlap, vagy szóban elmondja) ●A teszt vezetője kitöltheti az előre elkészített tesztlapot 2010. október 21. Szofter-ergonómiai metrikák 12
  13. 13. (TM1) Megállási szabály ● Az alap gond: ha nem tudja megoldani a felhasználó a feladatot, meddig tartson a teszt? ● Meg lehet mondani a felhasználónak, hogy addig foglalkozzon a feladattal, amíg készen nincs, vagy a valóságban feladná / segítséget kérne ● Három csapás elve (Mi számít próbálkozásnak?) ● Idő korlát a feladatok elvégzésére ● Figyelem: ha egy feladat nem sikeres, bármennyire is nem a felhasználó hibája, idegesíti őt, ezáltal befolyásolja a továbbiakban. 2010. október 21. Szofter-ergonómiai metrikák 13
  14. 14. (TM1) Bináris siker ●A feladat eredmény legegyszerűbb formája ●Két lehetőség van: siker vagy bukás ●Akkor érdemes használni, ha az egész rendszer célját vizsgáljuk ●Méréskor érdemes 1-et vagy 0-át írni (könnyebb összeadni a végén) ●Hátránya, hogy nincsenek részletek mi történt, hol van a hiba 2010. október 21. Szofter-ergonómiai metrikák 14
  15. 15. (TM1) Szintes siker ● Ha megállapítható a siker mértéke, akkor szintes sikerről beszélhetünk ● „Részpontszám” ● A feladat részleges végrehajtása is értékes ● Gyűjtése hasonlít a bináris sikerhez, csak előre a szinteket is definiálni kell, például: ● A feladat minden lépése sikeres? ● Nehéz volt végrehajtani az egyes lépéseket? ● Szüksége volt segítségre? (súgó) ● A végrehajtás optimális volt, vagy kerülővel jutott el? ● Ha a szintek kicsit puhák, akkor nehéz lehet megegyezni, mekkora is volt a siker 2010. október 21. Szofter-ergonómiai metrikák 15
  16. 16. (TM1) Szintes siker használata ● Általában 3-6 szintet használnak, leggyakrabban 3- at: ● Siker ● Részsiker ● Kudarc ●(Lehet tovább alszintezni, pl segítséggel vagy segítség nélkül) ● A szintek reprezentációjára két módszer: ● Siker pont: A szinteket 0,0 és 1,0 közti értékekre határozzuk meg, lehet átlagolni ● Felhasználó élmény alapján (szint a problémák alapján) 2010. október 21. Szofter-ergonómiai metrikák 16
  17. 17. (TM2) Feladat idő ●A hatékonyság méréséhez kiváló ●Általában minél gyorsabb, annál jobb a felhasználónak ●Nem mindig a legjobb. Pl.: játékok, vagy meghatározott ideig tartó feladatok ●Kérdés: a sikertelen feladatokat mérni kell-e ●Az idő mérése befolyásolja a felhasználót: ●Ha nem mondod meg: elkalandozik ●Ha megmondod: ideges lesz ●Jó módszer: nem mondod meg, de megkéred, hogy a lehető leggyorsabban csinálja 2010. október 21. Szofter-ergonómiai metrikák 17
  18. 18. (TM2) Feladat idő mérése ●Feladat idő: a feladat elkezdése és befejezése közt eltelt idő percekben (másodpercekben) stopperral vagy időbélyeggel ●Előre meg kell határozni és az összes feladatra konzisztensen, hogy mikortól kezdünk és meddig mérünk ●Vége: amikor már nem használja a rendszert ●Még így is zajos lehet… 2010. október 21. Szofter-ergonómiai metrikák 18
  19. 19. (TM3) Hibák ●Felhasználó hibázik -> általában tervezési hibáról van, felületi vagy mélyebb ●Tetszőleges használati hibát érthetünk ez alatt (csúszás, kihagyás, tévedés) ●A hibák mérésével kideríthető, hogy miért nem sikerül egy adott feladat ●A teljesítmény mérésében is segít (a hibák száma megmutatja a kevésbé jó felületi részeket) 2010. október 21. Szofter-ergonómiai metrikák 19
  20. 20. (TM3) Hiba típusok Művelet Szándékos Helyes használat Helytelen használat Tévedés Nem szándékos Csúszás Kihagyás 2010. október 21. Szofter-ergonómiai metrikák 20 Használati hibák
  21. 21. (TM3) Hibák mérése ●A hibák méréséhez előre tisztázni kell a helyes műveletek halmazát ●A hiba lehetőségeket is előre tudni kéne ●Milyen lehetőségei vannak a felhasználónak hibázni? ●Lehet, hogy nem minden hiba egyforma fontos ●Minden esemény egy hibának számít ●A hibák számából nem lehet következtetni arra, hogy mi történt valójában ●A hiba típusok okait meg kell vizsgálni 2010. október 21. Szofter-ergonómiai metrikák 21
  22. 22. (TM4) Hatékonyság ●A hatékonyságot lehetne mérni a feladat idővel is, de még jobb, ha a feladat elvégzéséhez szükséges erőfeszítést mérjük ●Például mennyi művelettel jutott el a feladat végéig ●Minden művelet egy bizonyos mennyiségű erőfeszítésnek felel meg ●A cél a műveletek számának, így az erőfeszítés csökkentése ●Erőfeszítés lehet: ●Kognitív: „fejben történő dolgok” ●Fizikai: művelet végrehajtása 2010. október 21. Szofter-ergonómiai metrikák 22
  23. 23. (TM4) Hatékonyság mérése ●Mérés előtti teendők: ●Kell egy teljes + pontos lista a műveletekről ●A műveletek elejét és végét meg kell határozni (kognitív?) ●A műveleteket kell majd megszámolni -> videó készítése hasznos lehet ●A műveleteknek értelmesnek kell lenniük ●Csak sikeres feladatokat nézzük ●A mérés nehézsége, hogy sok művelet nagyon gyorsan történik 2010. október 21. Szofter-ergonómiai metrikák 23
  24. 24. (TM5) Tanulhatóság ● A kezdő felhasználók még nem használják hatékonyan a rendszert, az idő múltával fokozatosan szereznek tapasztalatokat, ez a tanulási görbe ● A tanulhatóság a görbe meredeksége ● A tanulhatóságot a ráfordított idővel és erőfeszítéssel mérik, amíg a felhasználó kiismeri a rendszert ● Más TMx-eken alapszik, de több teszttel, időkihagyásokkal mérik ● A tanulhatóság egy másik eleme a visszahívás, az elsajátítás után mennyire marad tartós az ismeret 2010. október 21. Szofter-ergonómiai metrikák 24
  25. 25. Viselkedési metrikák ●Mit csinál a felhasználó a teszt alatt (verbalizáció, testbeszéd, fiziológiai adatok) ●Méréshez előképzettség és különleges hardver szükséges (szemmozgás követő kamera) ●Például verbalizáció és testbeszéd: ●Teszt közben feljegyzésre kerül, mit mond vagy csinál a felhasználó ●+/- megjegyzések, javaslatok, kérdések, … ●Arc kifejezés, kéz mozdulatok, … 2010. október 21. Szofter-ergonómiai metrikák 25
  26. 26. Önbeszámolt metrikák ●A legegyszerűbb gyűjteni: megkérdezzük a felhasználót, mit gondol a rendszerről ●-> Kérdőív + interjú ●Hasznos, mert megmutatja a rendszer érzékelését, percepcióját ●Érzéseket is mutathat (elégedettség méréshez kell) ●Mikor gyűjtjük: ●Feladat után ●Teszt végén 2010. október 21. Szofter-ergonómiai metrikák 26
  27. 27. SzHS ● Szabványos Használhatósági Skála ● 10 kérdéses, Likert skálás, attitűd vizsgáló kérdőív ● Az egész rendszerre ad egy értéket 1-100 között ● Más rendszerekkel is összehasonlítható az eredmény ● Az egy dimenziós vég érték előny és hátrány, jól összesít, de a részleteket elfedi ● Szabadon elérhető (SUS, Standard Usability Scale) 2010. október 21. Szofter-ergonómiai metrikák 27
  28. 28. Probléma alapú metrika ●Használhatósági problémának számít a felület azon hibáit, amely csökkenti a hatékonyságot, hatásosságot vagy az elégedettséget ●A fejlesztés során történik ●Felhasználói tesztekkel ●Súlyosság alapján lehet besorolni őket ●Fajtái: Összes probléma, kategóriánkénti problémák száma, feladatonkénti problémák száma 2010. október 21. Szofter-ergonómiai metrikák 28
  29. 29. Különleges adat: Elérhetőség ●Elérhetőség: fogyatékkal élők mennyire tudják a rendszert használni (->általában is javítja a használhatóságot) ●Nemcsak vak vagy siket, hanem pl: idős vagy gyerek felhasználók, idegen nyelvet beszélők ●Metrikát a célcsoport szerint határozzuk meg ●Jól számolható az irányelv listáknak való megfelelés, pl.: a W3C akadálymentesítési listája 2010. október 21. Szofter-ergonómiai metrikák 29
  30. 30. Különleges adat: Naplók ● Az adatgyűjtés közvetett módja: a használati napló file-okat elemezzük ● Az előnye, hogy a tényleges használat során keletkezett adatokat vizsgáljuk (rossz feladatok is kiszűrhetők) ● Adatbányász módszereket lehet használni ● Hátránya: ● A fejlesztés során nem annyira használható ● Mit csinál a felhasználó? ● Ha bonyolult az adatbányász modell, félrevezető lehet 2010. október 21. Szofter-ergonómiai metrikák 30
  31. 31. Adat típusok elemzése 2010. október 21. Szofter-ergonómiai metrikák 31 ● Lehet, hogy a nyers adat is hasznos, de előbb utóbb szükség lesz némi statisztikára ● Adat típustól függ, hogy minek van értelme ● Nem csak az elemzés fontos, hanem a megjelenítés is (adatok hatékony közvetítése) Típus Metrika példa Statisztikai módszer Nominális (kategóriák) Bináris feladat eredmény, hibák Gyakoriság, kereszttáblák, chi- négyzet Ordinális (rang) Súlyosság sorrend, Design sorrend Gyakoriság, kereszttáblák, chi- négyzet, Spearman rang korreláció Intervallum Likert skála adatok, SzHS Leíró statisztikák, t-próba, regresszió analízis Arány Végrehajtási idő, átlagos feladat eredmény Leíró statisztikák (geometriai közép), t-próba, regresszió analízis
  32. 32. Olvasnivaló ●Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics by Tom Tullis and Bill Albert ●http://www.measuringuserexperience.com/ ●(…) 2010. október 21. Szofter-ergonómiai metrikák 32
  33. 33. Kérdések és vége Polgár Péter Balázs sirpepe@elte.hu @polgarp

×