Augmented Reality and the New Methods of User Interaction
•Download as PPTX, PDF•
3 likes•1,061 views
This presentation describes innovative approaches to interaction between a human and a computer. One of the examples of such interaction is provided by Intel RealSense 3D camera and an app developed by a team at GlobalLogic - Emma App. This presentation by Kateryna Lavrenova (Senior Designer, GlobalLogic) was delivered at Front-End Practice #1 on July 22, 2015, in Kharkiv.
Recommended
Recommended
More Related Content
Similar to Augmented Reality and the New Methods of User Interaction
Similar to Augmented Reality and the New Methods of User Interaction (12)
More from GlobalLogic Ukraine
More from GlobalLogic Ukraine (20)
Augmented Reality and the New Methods of User Interaction
- 1. ДОПОЛНЕННАЯ РЕАЛЬНОСТЬ и новые методы взаимодействия с пользователем Катерина Лавренова
- 4. Эволюция взаимодействия пользователя с компьютером
- 5. Новые способы взаимодействия мимика жесты распознавание расстояния голосовые команды
- 6. Почему будущее уже рядом • Siri, Google Now, Cortana • Google Glass, Oculus, HoloLens • Wearables (watches, bracelets, clothes) • Intel RealSense, Kinect, LeapMotion
- 8. Принципы взаимодействия • Знать технические ограничения (и помнить про постоянное развитие технологий) • Использовать сильные стороны UX • Вдохновляться реальностью (но не копировать ее) • Быть интуитивным • Быть постоянным
- 9. ЖЕСТЫ
- 10. Жесты • Статические и динамические • Простые, легко запоминающиеся, повторяющиеся • Естественные – Teach the user (туториал, встроенные подсказки, визуальный фидбек, легкий доступ к помощи / меню) • Комфортные и эргономичные – Минимизировать усталость
- 11. Не моделируйте ваше приложение на существующие интерфейсы
- 12. ЛИЦО
- 13. Лицо • Технические параметры – Что можно распознавать? – Освещение и фон • Фидбек и подсказки – пользователь слишком далеко от компьютера – двигается слишком быстро • Избегать усталости • Тестирование – культура, возраст, ситуация, индивидуальные особенности
- 14. ГОЛОС
- 15. Голосовые команды • Окружение • Естественность • Ключевые слова / Постоянное слушание • UX: Обучение, фидбек, альтернативный инпут • Выбор команд
- 16. Хорошо Плохо Избегать похожих слов аллитераций, рифм cat/kit make/take increase/decrease Короткие фразы 1-5 слов Put in the cart Put this one in the shopping cart Длина слова больше 1-го слога Stop video Show more songs Go back Stop More Back Простой словарь обычные понятные слова Red First Crimson Initial
- 19. Demo
Editor's Notes
- 3D-камера Intel RealSense. Всемирный конкурс IntelRealSense Challenge, 2 место – приложение EMMA.
- Эволюция интерфейсов
- Natural User Interface
- Технические ограничения – расстояние, проблемы в распознавание (Кинект хуже распознает скелет, если пользователь одет в черное; освещение и окружающая среда) Развитие технологий Сильные стороны – жесты и мимика очень отличаются от клавиатуры и мышки. У каждого инпута есть свои сильные и свои слабые стороны. Когда нам нужно ввести текст, управлять жестами экранной клавиатурой – не самое лучшее решение. Нужно использовать сильные стороны каждого способа взаимодействия, понимать цели пользователя. Жесты, мимика и голос – очень похожи на то, как мы ведем себя каждый день в повседневной жизни. Natural UX – Естественый UX. Но если у реальности есть какие-то ограничения, то в играх и приложениях мы можем слегка ослабить правила физики, гравитации, пространства. Стараться использовать жесты, похожие на те, которые мы используем в реальной жизни. Создавать правила и гайдлайны, поддерживать постоянство UX как внутри приложения, так и внутри платформы.
- Виды жестов: 1) статические - положение пальцев и рук – какие бывают. В разных культурах – разное значение. 2) динамические – движения Поддерживать постоянство внутри приложения. Не стоит использовать слишком абстрактные жесты, которые не имеют отношения к заданию и которые сложно выучить и запомнить. Помнить о том, что каждый человек может толковать жест по-своему. Просто попросить пользователя помахать рукой может означать минимум 4 жеста). Естественные (pick to move, swipe, надавить чтобы выбрать) и новые (rotate to back, 5 пальцев для начала взаимодействия или махание в Kinekt). Минимизировать усталость: Разбивать активности на короткие периоды Не требовать частых повторяющихся жестов Локти – на поверхности Не поднимать руку на высоту плеча Слева-направо лучше, чем сверху-вниз Не требовать суперточного инпута
- Что можно распознавать – 3D положение головы (повороты, наклоны, в следующей итерации – зрачки), 78 точек на лице. Фронтально + повороты на 30 гр. Распознает выражения лица (подмигивание, поднятие брови, высунутый язык…) и эмоции (6 базовых). Избегать усталости – короткие итерации, не требовать от пользователя слишком быстрых движений головой или шеей и не заставлять пользователя поворачивать голову больше, чем на 30 гр. Тестирование – все мы радуемся одинаково, каждый грустит по-своему.
- Окружение – внешний шум (если ваше приложение планируется для использования в шумном ТРЦ или кафе – голосовой инпут может быть не самым лучшим способом взаимодействия. То же самое в офисе, где голосовые команды могут мешать другим сотрудникам). Акцент пользователя. Естественность – слова или фразы в качестве голосовых команд могут отличаться от обычной человеческой манеры говорить и поэтому могут выглядеть неестественно. Ключевые слова или триггеры – сенсор ждет ключевого слова. Это лучший способ избежать ложного взаимодействия и путаницы. ОК Google, Xbox. Постоянное слушание – Always On – хорошо работает, когда у тебя небольшое количество распознаваемых слов, и когда они более-менее уникальны. Чем больше слов, тем больше вероятность ложного распознавания.
- Подсказки “Did you mean “camera”?”