NUI mit Kinect, Cortana und HoloLens

•

0 likes•929 views

Das Slidedeck zu meinem Vortrag auf der CeBIT 2015 "Die Zukunft beginnt jetzt – Natural User Interfaces mit Kinect, Cortana und HoloLens".

Technology

Natural User Interfaces mit
Kinect, Cortana und HoloLens
Nicoleta Mihali
nmihali@microsoft.com
@nikk_mihali
http://blogs.msdn.com/b/the_language_of_technology/

Agenda
NUI mit Kinect, Cortana und HoloLens

Natural User Interfaces
Was ist NUI?
Natural User Interfaces (NUI) ermöglichen uns eine natürlichere Kommunikation mit Technologie

Natural User Interfaces
Multimodalität
• Multimodalität macht NUI mächtiger und natürlicher.

NUI-Technologien
Wie kann ich NUI entwickeln?
• Gesten-, Sprach- und Sicht-gesteuerte Apps mit Kinect
• Sprachaktivierung mit Cortana
• NUI für Augmented Reality mit HoloLens

Kinect for Windows
Sensorkomponenten
RGB Camera
IR EmittersDepth Sensor
Microphone Array

New Era, New way to interact with Devices
Demo Interaktion model

Kinect for Windows
Anwendungsfälle
14pt copy

Kinect for Windows
Eigene Gesten erstellen
Kinect Studio
• Aufnahme u. Wiedergabe von Sensordaten
Gestenerkennung
• Heuristisch (im Code programmieren)
• Basierend auf Machine Learning Algorithmen (mit Visual Gesture Builder)

Cortana
Die persönliche digitale Assistentin

Cortana
Verfügbare Features
Notebookfunktionalitäten
Kommunikation und Telefonie
Routenplanung und Geodienste
Smalltalk und Entertainment
Infodienste

Cortana
Integration in eigene Apps
• Erstelle Voice Command Definition(s)
• Registriere die Voice Command Definition(s) XML Datei
• Verarbeite die Voice Command Definition(s)

HoloLens
Die Welt mit anderen Augen sehen
• Holografischer Computer
• Windows 10
• Mehr Informationen auf der //build (29.04 – 01.05)

Weitere Informationen
Die Welt mit anderen Augen sehen
nmihali@microsoft.com
@nikk_mihali
http://aka.ms/languageoftech
Kinect Kurs
http://aka.ms/kinect-mva
Microsoft Kinect SDK
http://aka.ms/k4wv2PreviewSDK
Voice Commands Quickstart
http://aka.ms/voicecommands-quickstart

Viewers also liked

The Advantages of Weightlifting Shoes for Bodybuilders | Otomix

Otomix

Клиент обратился за помощью, но не ожидал, что будет так быстро и круто. Теперь он у нас не только на SEO продвижении, но и успешно продвигается с помощью контекстной рекламы! Кто хочет увидеть высокий результат продаж и выручку как до кризиса, обращайтесь в наше агентство.

история увеличения посещаемости интернет магазина строительных материалов

Ярошевич Егор

Stream 4 U

Haggai

Filipino group 1 boyle (gidfted hands the ben carson story)

Eemlliuq Agalalan

Asthma 2010 new gina guidelines[pediatric]

Pradeep Gc

Thrombosis

Waleed K. O. Jaber

CAPS community meeting and workshop

MAKE-IT

Labour versus labour. Rethinking work in a digital society

MAKE-IT

Viewers also liked (8)

The Advantages of Weightlifting Shoes for Bodybuilders | Otomix

история увеличения посещаемости интернет магазина строительных материалов

Stream 4 U

Filipino group 1 boyle (gidfted hands the ben carson story)

Asthma 2010 new gina guidelines[pediatric]

Thrombosis

CAPS community meeting and workshop

Labour versus labour. Rethinking work in a digital society

Similar to NUI mit Kinect, Cortana und HoloLens

Gestaltete Interaktion von erweiterten Realitäten – Perspektive und Freiräume

Tilman Zitzmann

Der VDC Newsletter ist der monatliche Informationsdienst des Virtual Dimension Centers (VDC) Fellbach mit Neuigkeiten aus dem Netzwerk sowie Nachrichten und Terminen rund um das Thema Virtual Engineering. Tagesaktuelle Nachrichten sind auf http://www.vdc-fellbach.de verfügbar. Der VDC Newsletter wird derzeit von rund 4000 Personen gelesen. Besuchen Sie uns auch auf Facebook unter: http://www.facebook.com/vdc.fellbach

VDC-Newsletter August 2014

Virtual Dimension Center (VDC) Fellbach

Abstract Die mixed reality Brille Hololens von Microsoft ist zurzeit in aller Munde und wird bereits in einigen Projekten eingesetzt. Die Applikationen sind erste „Gehversuche“ was mit der Plattform und ihrer neuartigen Interaktionen überhaupt möglich ist. Daher sind Interaktionskonzepte, die mithilfe von UX erstellt werden, unersetzlich. Um benutzbare und sinnvolle Konzepte zu erarbeiten, müssen Prototypen erstellt werden um die Konzepte zu testen. Innerhalb der Zühlke-Fokusgruppe „AR-VR-MR“ wurde im letztjährigen Camp eine Methode entwickelt, wie man für die Hololens Prototypen erstellen und testen kann. Diese Methode würden wir im Rahmen des Last Thursday Talks gerne vorstellen. Zu den Personen Markus Hankh hat sich nach dem Abschluss seines Masters in Human-Computer Interaction an der Universität Konstanz für Zühlke entschieden. Dort unterstützt er Unternehmen aus verschiedenen Branchen bei der benutzerorientierten Umsetzung von Produktideen. Persönlich ist er leidenschaftlicher Mountainbiker und in den Bergen zuhause. Steffen Walter gründete ein StartUp und arbeitete als Visual Designer, Technopolygraph und Softwaretester, bevor er im Mai 2016 als Usability Engineer zu Zühlke wechselte. Seine Leidenschaft sind Usability Engineering und Interaction Design für Augmented- Mixed- Virtual Reality Anwendungen.

Rapid Prototyping auf der Microsoft HoloLens innerhalb von 15 Minuten

SteffenWalter3

In seinem Referat ging Jussi Mori der Frage nach, wie der Arbeitsalltag in fünf Jahren aussehen wird. Werden wir in virtuellen Arbeitsbereichen arbeiten oder wie gehabt von 9 bis 17 Uhr im Büro erscheinen? Welche Skills werden in Zukunft nötig sein, um mit modernen Technologien und neuen Arten der Kommunikation fertigzuwerden? Wie können Sie sich darauf vorbereiten und wo entstehen Chancen und eventuelle Challenges? Anhand von aktuellen IT-Trends zeigte er auf, wie sich Arbeitsweisen, der Arbeitsplatz und die benötigten Skills der Mitarbeiter bis ins Jahr 2020 verändern könnten.

Skills 2020 – wie die IT-Trends die neue Arbeitswelt verändern

Digicomp Academy AG

Anything, anytime, anywhere? 'In the twenty-first century the technology revolution will move into the everyday, the small and the invisible.' (Mark D. Weiser, XEROX) Das 'Graphical User Interface' (GUI) dominiert immer noch unseren digitalen Alltag. (Touch)Screens, Maus, Tastatur legen nach wie vor unsere Interaktion mit der Technik fest. GUIs kann man manchmal als 'Hack' sehen, um überhaupt einen Zugang zur Technik zu haben, sie sind also nicht immer sinnvoll. Diese 'Hacks' können durch neue Technologien wie ubiquitäres Computing (UC) jedoch überflüssig werden, indem z.B. Alltagsgegenstände als Interaktionselemente genutzt werden - allerdings nur da, wo es auch Sinn macht. Doch wie sieht eine Technik aus, die Menschen 'mal so nebenbei' unterstützt ohne ihm dabei Aufmerksamkeit zu rauben, indem sie ihn zwingt, zuerst neue Dinge zu erlernen? Wie sehen UIs im UC heute aus? Ist der Einsatz von von UC überall sinnvoll? Was sollte man im User Experience Design beachten? Welche Gefahren und Ängste verbergen sich? Wir möchten mit dem Vortrag einen kleinen Einblick in die Vor - sowie Nachteile von No (G)UI/UC geben und etwas zum Nachdenken anregen.

Ready or Not: No UI - the disappearance of the graphic user interface (Usabi...

Stefanie Kegel

Anything, anytime, anywhere? 'In the twenty-first century the technology revolution will move into the everyday, the small and the invisible.' (Mark D. Weiser, XEROX) Das 'Graphical User Interface' (GUI) dominiert immer noch unseren digitalen Alltag. (Touch)Screen, Maus, Tastatur legen die Interaktion fest und sind die haptische Verbindung, aber auch Grenze zur Technologie. Diese Grenze kann durch neue Technologien wie ubiquitäres Computing (UC) jedoch unsichtbar werden, indem Alltagsgegenstände als Interaktionselemente genutzt werden. Doch wie sieht eine Technik aus, die Menschen unterstützt ohne ihm dabei Aufmerksamkeit zu rauben, indem sie ihn zwingt, zuerst neue Dinge zu erlernen? Wie sehen UIs im UC heute aus? Welche Ein-und Ausgabe Alternativen gibt es? Ist der Einsatz von von UC überall sinnvoll? Welche Gefahren und Ängste verbergen sich? Wir möchten mit dem Vortrag einen kleinen Einblick in die Vor - sowie Nachteile von No (G)UI/UC geben und etwas zum Nachdenken anregen.

Ready or not: No UI vom Verschwinden des Graphical User Interfaces

The Geekettez – Design Studio and User Experience Consultancy

Intel XDK: Cross-Plattform Entwicklung – Apps Entwickeln für alle Plattformen...

Gregor Biswanger

Multi Touch.Prio.Conference 2009

Gregor Biswanger

UX Design - Einführung (1. Sitzung)

Marcus Haberkorn

Beyond GUI - Die Zukunft digitaler Interfaces

SENSORY-MINDS

Prototyping Conversations | Mit nutzerzentrierten Methoden zum Conversational...

usability.de

Prototyping Conversations | Mit nutzerzentrierten Methoden zum Conversational...

Johannes Baeck

Agiles Lernen und Software Entwicklung das OSGi Code Camp 2010

Christian Baranowski

ISARCAMP: metaio / Sascha Kiener - always on augmented reality und die augmen...

ISARNETZ

Smarter arbeiten v1.1

TwentyOne AG

5 Köche und ein Brei: Optimale Prototyping-Toolchain(s)

Joachim Tillessen

Fuchs Ocr Impact Workshop MUC

IMPACT Centre of Competence

Präsentationsfolien von der Advanced Developers Conference am 17.10.2013 in Wien zum Thema: Touch Maus & Keyboard Bedienung mit Touch oder Multitouch findet sich auf allen Plattformen und Formfaktoren. Leider ist weder die Usabilty noch die API einheitlich. Selbst bei Microsoft gibt es eine Reihe unterschiedlicher Gesten und Events. Diese Session führt in User Interface Design für Touch Szenarien ein und zeigt auch konkrete Implentierungsmöglichkeiten verbunden mit Praxis aus bereits laufenden Projekten.

Touch und Multitouch zwischen den Welten // ADC Wien

Holger Wendel

Print to-web (Fortschrittsberichte der HdM Stuttgart 11/2011)

Hochschule der Medien

Responsive Webdesign: Prozess, Dialog, Qualität

Peter Rozek

Similar to NUI mit Kinect, Cortana und HoloLens (20)

Gestaltete Interaktion von erweiterten Realitäten – Perspektive und Freiräume

VDC-Newsletter August 2014

Rapid Prototyping auf der Microsoft HoloLens innerhalb von 15 Minuten

Skills 2020 – wie die IT-Trends die neue Arbeitswelt verändern

Ready or Not: No UI - the disappearance of the graphic user interface (Usabi...

Ready or not: No UI vom Verschwinden des Graphical User Interfaces

Intel XDK: Cross-Plattform Entwicklung – Apps Entwickeln für alle Plattformen...

Multi Touch.Prio.Conference 2009

UX Design - Einführung (1. Sitzung)

Beyond GUI - Die Zukunft digitaler Interfaces

Prototyping Conversations | Mit nutzerzentrierten Methoden zum Conversational...

Agiles Lernen und Software Entwicklung das OSGi Code Camp 2010

ISARCAMP: metaio / Sascha Kiener - always on augmented reality und die augmen...

Smarter arbeiten v1.1

5 Köche und ein Brei: Optimale Prototyping-Toolchain(s)

Fuchs Ocr Impact Workshop MUC

Touch und Multitouch zwischen den Welten // ADC Wien

Print to-web (Fortschrittsberichte der HdM Stuttgart 11/2011)

Responsive Webdesign: Prozess, Dialog, Qualität

NUI mit Kinect, Cortana und HoloLens

2. Natural User Interfaces mit Kinect, Cortana und HoloLens Nicoleta Mihali nmihali@microsoft.com @nikk_mihali http://blogs.msdn.com/b/the_language_of_technology/

3. Agenda NUI mit Kinect, Cortana und HoloLens

4. Natural User Interfaces

5. Natural User Interfaces Was ist NUI? Natural User Interfaces (NUI) ermöglichen uns eine natürlichere Kommunikation mit Technologie

6. Natural User Interfaces Multimodalität • Multimodalität macht NUI mächtiger und natürlicher.

7. NUI-Technologien Wie kann ich NUI entwickeln? • Gesten-, Sprach- und Sicht-gesteuerte Apps mit Kinect • Sprachaktivierung mit Cortana • NUI für Augmented Reality mit HoloLens

8. Kinect for Windows

9. Kinect for Windows Sensorkomponenten RGB Camera IR EmittersDepth Sensor Microphone Array

10. Kinect for Windows

11. New Era, New way to interact with Devices Demo Interaktion model

12. Kinect for Windows Anwendungsfälle 14pt copy

13. Kinect for Windows Eigene Gesten erstellen Kinect Studio • Aufnahme u. Wiedergabe von Sensordaten Gestenerkennung • Heuristisch (im Code programmieren) • Basierend auf Machine Learning Algorithmen (mit Visual Gesture Builder)

14.

15. Cortana

16. Cortana Die persönliche digitale Assistentin

17. Cortana Verfügbare Features Notebookfunktionalitäten Kommunikation und Telefonie Routenplanung und Geodienste Smalltalk und Entertainment Infodienste

18. Cortana Demo

19. Cortana Demo

20. Cortana Demo

21. Cortana Integration in eigene Apps • Erstelle Voice Command Definition(s) • Registriere die Voice Command Definition(s) XML Datei • Verarbeite die Voice Command Definition(s)

22.

23. HoloLens

24.

25. HoloLens Die Welt mit anderen Augen sehen • Holografischer Computer • Windows 10 • Mehr Informationen auf der //build (29.04 – 01.05)

26. HoloLens

27. Weitere Informationen Die Welt mit anderen Augen sehen nmihali@microsoft.com @nikk_mihali http://aka.ms/languageoftech Kinect Kurs http://aka.ms/kinect-mva Microsoft Kinect SDK http://aka.ms/k4wv2PreviewSDK Voice Commands Quickstart http://aka.ms/voicecommands-quickstart

NUI mit Kinect, Cortana und HoloLens

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (8)

Similar to NUI mit Kinect, Cortana und HoloLens

Similar to NUI mit Kinect, Cortana und HoloLens (20)

NUI mit Kinect, Cortana und HoloLens