Advanced Interaction Techniques for Medical Intervention and Diagnosis
•Download as PPTX, PDF•
2 likes•433 views
This document presents a prototype for advanced interaction techniques for medical intervention and diagnosis using autostereoscopic visualization and gesture interfaces. It describes the context and motivation for the project, and provides details on implementing autostereoscopic visualization using multi-view, 2D+depth, and 4D techniques. It also discusses using the Leap Motion controller to implement a gesture interface for translation, scaling, rotation and other commands. The prototype is evaluated for usability and performance, and conclusions are drawn about applications in forensic science and cardiovascular surgery.
Recommended
More Related Content
Viewers also liked
Viewers also liked (19)
Similar to Advanced Interaction Techniques for Medical Intervention and Diagnosis
Similar to Advanced Interaction Techniques for Medical Intervention and Diagnosis (20)
Recently uploaded
Recently uploaded (20)
Advanced Interaction Techniques for Medical Intervention and Diagnosis
- 1. Advanced Interaction Techniques for Medical Intervention and Diagnosis Chris Desomer Lars Jacobs Prof. Dr. Ir. P. Suetens Prof. Dr. Ir. T. Tuytelaars Dr. Ir. S. De Buck Dr. Ir. P. Slagmolen Dr. Ir. J. Gemmeke Dr. Ir. M. Pedersoli Supervisors: Advisors: Assessors:
- 2. Outline 3/07/2014 2 • Context • Autostereoscopic visualisation • Gesture interface • Evaluation • Discussion & conclusion • Demo
- 3. Context
- 7. Purpose 3/07/2014 7 • Implementation of autostereoscopic visualisation • Implementation of gesture interface • Added value?
- 9. 3D perception 3/07/2014 9 • Humans sees 3D if each eye gets another image
- 13. Real time aspects 3/07/2014 13 • Network optimisation • Code optimisation o Block based instead of pixel based o memcpy(), memset() • Hardware optimisation
- 14. 4D visualisation 3/07/2014 14 • 3D + time • Demo 4D
- 16. Hardware/framework gesture interface 3/07/2014 16 • Advanced interaction 3D hand/finger detection required • Kinect o Far field detection o Frameworks for 3D hand/finger detection (e.g. Forth) • Leap Motion o Near field detection o Designed for 3D hand/finger detection
- 17. Comparison Kinect versus Leap Motion 3/07/2014 17 Kinect Leap Motion Price € 250 € 901 Position in the OR Outside sterile zone Inside sterile zone2 Interaction zone 57° horizontal Forth: 2m distance from sensor gives a range of ≈ 2m 150° vertical 0,25 m distance from sensor gives a range of ≈ 2m Resolution Kinect: 30 fps Kinect + Forth: 20 fps 115 fps Accuracy in ideal interaction zone 2cm 0,01mm Conclusion: Leap Motion 1 Excl. price of sterilization 2 Sterilization can be done by a protective cover for ultrasound transducers
- 18. Requirements 3/07/2014 18 Requirement Gesture Translation Closed hand movement Scaling Pinch to zoom Rotation Open hand rotation Reset Swipe On/off mechanism Virtual push button Settings Static gesture
- 19. Leap Motion Gesture recognition using heuristics Action Flow 3/07/2014 19 Leap Motion Gesture recognition using correlation Action Data frame Parameters
- 21. Evaluation
- 22. Data models 3/07/2014 22 • Meshes • Tracts • Volume data o Filtering
- 23. Data models 3/07/2014 23 • Meshes • Tracts • Volume data o Filtering
- 24. Data models 3/07/2014 24 • Meshes • Tracts • Volume data o Filtering
- 26. Gesture interface 3/07/2014 26 Gesture Intuitiveness Difficulty Translation 3.4 3.0 Scaling 4.2 3.0 Rotation 3.5 2.9 Swipe 4.7 4.2 Airbutton 4.3 3.6 Static gestures 3.6 3.5 1: very unintuitive/very difficult 5: very intuitive/very easy
- 27. System Usability Scale (SUS) 3/07/2014 27 50% gives at least a SUS score of 74 (≈70%) 25% gives at least a SUS score of 79 (≈88%) An average system has a SUS score of 68
- 29. Discussion (I) 3/07/2014 29 • Autostereoscopic visualisation + Added value - Low resolution • Gesture interface + Dynamic 3D gesture set + Intuitive - Training needed
- 30. Discussion (II) 3/07/2014 30 • Forensic science o Virtual crime scene o No sterility • Cardiovascular surgery o Combination = added value o Catheter visualisation
- 31. Conclusion 3/07/2014 31 • First general prototype o Autostereoscopic visualisation o Gesture interface • Next o Application specific prototype o Optimisations per medical domain
- 32. Demo
- 34. References (I) 3/07/2014 34 • Article, R., & Ar, W. I. S. (2013). Augmented Reality in Surgery, 139. • Dodgson, N. A. (2005). Autostereoscopic 3D displays. Computer, 38(8), 31–36. doi:10.1109/MC.2005.252 • Delude, C., Is Heart Surgery History?, 2007, (‘http://protomag.com/assets/is-heart-surgery- history?page=4’) • Ector, B. J., Buck, S. De, Sc, M., Ph, D., Heidbuchel, H., & Ph, D. (2008). Improved Efficiency in the EP Lab with syngo DynaCT Cardiac, (October), 26–31.
- 35. References (II) 3/07/2014 35 • Oikonomidis, I., Kyriazis, N., & Argyros, A. (2011). Efficient model-based 3D tracking of hand articulations using Kinect. Procedings of the British Machine Vision Conference 2011, 101.1–101.11. doi:10.5244/C.25.101 • Ruijters, D. (2008). Integrating autostereoscopic multi-view lenticular displays in minimally invasive angiography. Workshop proceedings, 87–94. Retrieved from https://lirias.kuleuven.be/handle/123456789/198103 • Sansoni, G., & Docchio, F. (2013). Biomedical 2D and 3D Imaging : State of Art and Future Perspectives, 3–19. • Solutions, P. (n.d.). 3D Interface Specifications White Paper.
- 37. Hardware optimisations 3/07/2014 37 Windows 8 laptop Windows 7 desktop iMac CPU Intel Core i7 Q720 @ 1.60GHz Intel Core i5 2500 @ 3.30GHz Intel Core i5 4670 @ 3.40GHz RAM memory 8Gb SO-DIMM DDR3 @ 533MHz 16Gb DDR3 @ 666MHz 32Gb DDR3 @ 1600MHz GPU AMD Radeon HD6570M 1Gb RAM AMD Radeon HD6450 1Gb RAM NVIDIA GeForce GTX 780M 4GB RAM Refresh rate ± 2.5 fps ± 9 fps ± 20 fps
Editor's Notes
- Dit zijn de topics die in deze presentatie aan bod gaan komen. Dus als eerste gaan we de context even kort schetsen, de probleemstelling en uiteraard ook de doelstelling. Daarna worden de twee geavanceerde interactietechnieken uitgelegd, gevolgd door de bijhorende evaluatiefase. Als laatste trekken we een algemeen besluit van de masterproef en geven we een korte demo van onze implementatie.
- Een tweede voorbeeld van technologische innovaties is medische beeldvorming. Gekende voorbeelden zijn CT-, MRI-scans en echobeelden. Tegenwoordig verwerkt men al deze data om voor de operatie een patiënt specifiek 3D-model te maken. Dit model kan dan dienen voor de exacte aanduiding van bepaalde zones die van belang zijn tijdens een minimaal invasieve operatie. Een voorbeeld van zo’n model is weergegeven op de slide. Dit is een ventrikel (of atrium???) van het hart en wordt gebruikt tijdens een hartablatie. Hartablatie is een minimaal invasieve operatie waarbij ze met een katheter via de lies omhoog gaan en bepaalde plaatsen van het hartweefsel te beschadigen zodat ritmestoornissen zich niet meer kunnen voortplanten. De gekleurde bolletjes zijn de plaatsen die met de katheter wegebrand moeten worden.
- Een tweede voorbeeld van technologische innovaties is medische beeldvorming. Gekende voorbeelden zijn CT-, MRI-scans en echobeelden. Tegenwoordig verwerkt men al deze data om voor de operatie een patiënt specifiek 3D-model te maken. Dit model kan dan dienen voor de exacte aanduiding van bepaalde zones die van belang zijn tijdens een minimaal invasieve operatie. Een voorbeeld van zo’n model is weergegeven op de slide. Dit is een ventrikel (of atrium???) van het hart en wordt gebruikt tijdens een hartablatie. Hartablatie is een minimaal invasieve operatie waarbij ze met een katheter via de lies omhoog gaan en bepaalde plaatsen van het hartweefsel te beschadigen zodat ritmestoornissen zich niet meer kunnen voortplanten. De gekleurde bolletjes zijn de plaatsen die met de katheter wegebrand moeten worden.
- Het patiënt specifiek 3D-model wordt dan tijdens de operatie geprojecteerd op de realtime data van de scans zodat de positie van de katheter kan bepaald worden ten opzichte van het model. Dit is te zien in de figuur. De visualisatie van het 3D-model gebeurt op dit moment enkel via een 2D-scherm waardoor de perceptie van diepte minimaal is. Een ander probleem is dat de chirurg zelf het model niet kan manipuleren met een muis of toetsenbord omdat hij gedurende heel de operatie steriel moet blijven. Op dit moment wordt dit opgelost door extra operator die de wensen van de chirurg uitvoert.
- Deze beide interactiemethodes worden geïmplementeerd in de medische ontwikkelomgeving MeVisLab. De reden hiervoor is het feit dat het naar de toekomst toe eenvoudig kan hergebruikt worden binnen de onderzoeksgroep hier in Leuven. De twee technieken kunnen niet alleen van toepassing zijn bij cardiovasculaire operaties, maar ook tal van andere domeinen. De derde doelstelling is net om te onderzoeken in welke medische domeinen deze technieken ook een meerwaarde kunnen hebben.
- In this section I will first give you a little bit of background information and Lars will continue with telling you what we’ve already done.
- Dus even kort uitleggen hoe wij mensen in staat zijn om 3D te kunnen zien. Als beide ogen een verschillend maar bijhorend beeld krijgen zijn onze hersenen in staat om 3D-beeld te vormen en dus diepteperceptie te krijgen. De meest gekende manier voor 3D-visualisatie is ongetwijfeld door gebruik te maken van extra hulpmiddelen zoals een bril. De bril zorgt dankzij een kleurenfilter of polarisatiefilter dat elk oog een verschillend beeld krijgt en we dus in staat zijn om 3D te kunnen zien. Een tweede manier om 3D te kunnen zien is zonder extra hulpmiddelen oftewel autostereoscopische visualisatie. Om er dan voor te zorgen dat beide ogen een verschillend beeld te zien krijgen kan men gebruik maken van lenzen ofwel van een barrier mask zoals te zien is op de figuur. Aangezien extra hulpmiddelen zoals een bril niet handig zijn tijdens een operatie wordt in deze thesis autostereoscopische visualisatie geïmplementeerd.
- zie tekst vorige slide (wordt gelijktijdig besproken)
- Als laatste hebben we dan sinds na de paasvakantie ons ontwerp getest en geevalueerd. Enkele testpersonen uit verschillende medische takken kwamen langs om ons systeem te beoordelen. Er kwam onder andere iemand langs uit de cardiovasculaire tak en iemand van forensisch onderzoek; Om hun beoordeling wat te kunnen kaderen volgt nu eerst een korte schets van deze 2 toepassingen.
- en groot voordeel aan ons systeem is dat het verschillende inputformaten ondersteunt. Deze worden op deze slide besproken. Meshes: veel gebruikt inputformaat en is ook hetgene dat gebruikt wordt bij cardiovasculaire operatie. Tracts: Voor tractografie is het vrij moeilijk om die kleine tracts te onderscheiden. Op dit moment lossen ze dat op met kleurschakeringen, wij willen onderzoeken wat de invloed van 3D visualisatie hier kan geven Volume data: De ultrasone echobeelden zijn belangrijk voor de analyse van patronen van hartinfarcten. Het is bovendien niet zo evident om volume data te visualiseren aangezien de volumes eerst gerenderd moeten worden! En zelfs daarna is er soms wat meer processing nodig zoals filtering…
- en groot voordeel aan ons systeem is dat het verschillende inputformaten ondersteunt. Deze worden op deze slide besproken. Meshes: veel gebruikt inputformaat en is ook hetgene dat gebruikt wordt bij cardiovasculaire operatie. Tracts: Voor tractografie is het vrij moeilijk om die kleine tracts te onderscheiden. Op dit moment lossen ze dat op met kleurschakeringen, wij willen onderzoeken wat de invloed van 3D visualisatie hier kan geven Volume data: De ultrasone echobeelden zijn belangrijk voor de analyse van patronen van hartinfarcten. Het is bovendien niet zo evident om volume data te visualiseren aangezien de volumes eerst gerenderd moeten worden! En zelfs daarna is er soms wat meer processing nodig zoals filtering…
- en groot voordeel aan ons systeem is dat het verschillende inputformaten ondersteunt. Deze worden op deze slide besproken. Meshes: veel gebruikt inputformaat en is ook hetgene dat gebruikt wordt bij cardiovasculaire operatie. Tracts: Voor tractografie is het vrij moeilijk om die kleine tracts te onderscheiden. Op dit moment lossen ze dat op met kleurschakeringen, wij willen onderzoeken wat de invloed van 3D visualisatie hier kan geven Volume data: De ultrasone echobeelden zijn belangrijk voor de analyse van patronen van hartinfarcten. Het is bovendien niet zo evident om volume data te visualiseren aangezien de volumes eerst gerenderd moeten worden! En zelfs daarna is er soms wat meer processing nodig zoals filtering…
- Voor de evaluatie van de autostereoscopische visualisatie werden enkele vragen gesteld. Op deze slide zijn de resultaten ervan getoond en blijkt dat vooral de lage resolutie een beperkende factor is (vermelden dat er tegenwoordig wel al FullHD autostereoscopische schermen bestaan). Wel vinden ze dat 9 verschillende views meer als voldoende is vermits je toch vaak in dezelfde view blijft staan. Het visueel discomfort van een autostereoscopische visualisatie is zeer persoonafhankelijk.
- De verschillende testpersonen konden ook de gebareninterface uitproberen en werden dan gevraagd een score te geven tussen 1 en 5 hoe intuitief en hoe makkelijk ze de verschillende gebaren vonden. Daaruit blijkt dat de translatie het minst intuitief werd bevonden, omdat sommigen soms in het verkeerde vlak transleren, alsof ze met de muis bewegen. De rotatie is blijkbaar de moeilijkste handeling omdat velen de neiging hebben om hun hele arm te bewegen terwijl enkel de rotatie rond de pols telt. De swipe scoort het beste!
- Om de gebruiksvriendelijkheid van de gebareninterface te testen werd gebruik gemaakt van de SUS-vragenlijst (System Usabilty Scale). Dit is een universele methode om de gebruiksvriendelijkheid van een systeem te testen door 10 simpele vragen te beoordelen van 1 tot 5. Onderzoek wees uit dat in het algemeen een gemiddeld systeem een SUS score van 68 behaald. De resultaten zijn weergegeven in deze boxplot. Hieruit blijkt dat de helft van de testpersonen een score van 74 of meer geven. Een vierde geeft zelfs een score van 79 of meer. Er is wel 1 uitschieter die een opvallend lagere score gaf. Maar we kunnen we besluiten dat het systeem beter werkt dan een gemiddeld systeem.
- Tot slot volgt een korte discussie en besluit. Ten eerste moeten we vermelden dat wegens het beperkt aantal testpersonen de besluiten niet veralgemeend mogen worden, maar dat ze wel een goede indicator zijn.
- We kunnen wel besluiten dat de autostereoscopische visualisatie zeker een meerwaarde geeft tov van de huidige visualisatie. Het grootste nadeel is de te lage resolutie van het 3D-scherm. Tegenwoordig bestaan er wel al FullHD autostereoscopische schermen waarmee dit euvel opgelost kan worden. Voor het manipuleren van de modellen werd een dynamische 3D-gebarenset ontwikkeld die als intuitief werd ervaren, maar die wel wat training vergt om alle gebaren in de vingers te krijgen.
- We hebben ook onderzocht of deze interactietechnieken zouden kunnen gebruikt worden in de forensische wetenschappen of tijdens cardiovasculaire operaties. Bij forensisch onderzoek zou men bijvoorbeeld een model kunnen maken van het slachtoffer en van alle mogelijke voorwerpen die in de criminele scene zijn gevonden om zo uit te pluizen welke bijvoorbeeld ijzeren staaf nu precies in de hoofdwonde past en waarmee dus het slachtoffer is gedood. Nog beter zou zijn, mocht de gehele scene in 3D worden gemodelleerd. De gebareninterface is hier minder nodig omdat er geen nood is om steriel te werken op lijken. Daarom verkiest men hier eerder de vertrouwde muis. Bij hartablaties is de combinatie van beide zeker een meerwaarde. Het 3D-scherm geeft de diepteinformatie weer en de gebarenset zou de extra operator kunnen vervangen. Nog beter zou zijn mocht ook de katheter in beeld gebracht worden!
- We kunnen dus besluiten dat dit flexibele prototype een opstap is naar verder onderzoek naar geavanceerde interactietechnieken in specifieke domeinen
- Vraagteken in 3D :p hihi, droog! :p