Использование
контекстной информации
при проектировании
пользовательских
интерфейсов
Михаил Матвеев,
Директор по технологической политике,
Microsoft Россия
Александр Попов, Данила Корнев,
Лаборатория технологий Microsoft, Менеджер программ,
Московский Государственный Университет Microsoft Россия

Содержание
1. Примеры контекстной информации
2. Определение контекста
3. Сенсоры и их применение
4. Применение контекстной информации
5. Windows Sensor and Location Platform
6. Возможности рынка
7. Заключение

Apple iPhone
Естественный интерфейс Контекстно-зависимые
взаимодействия: интерфейсы:
• Жесты • Ориентация пользовательского
• Увеличение/уменьшение размера интерфейса (меняется при изменении
контента положениия телефона относительно
• Применение физической инерции к земли
виртуальным объектам • Изменение яркости изображения дисплея
в зависимости от яркости окружающей
среды
• Экран использует сенсор для определения
близости пользователя к телефону; при
прижимании телефона к уху экран
выключается
• Автоматическое переключение между
задачи (звонок – аудио прекращает
проигрываться, звонок завершен – аудио
опять проигрывается)

Контекстные меню в Office 2007
• Естественный
интерфейс
взаимодействия:
• «Ленты» инструментов для
редактирования
специальных объектов
(графики, изображения,
таблицы и т.д.) становятся
видны и доступны только
при выделении
соответствующих
специальных объектов

GPS-устройства
• Контекстно-зависимые
интерфейсы:
• Определение местоположения
пользователя
• Контекстная информация о
точках интереса (POI) недалеко
от пользователя
• Поиск пути – как добраться из
точки А в точку B
• Показ трафика в реальном
времени
• Показ местоположения друзей в
реальном времени
• Ночной/дневной режим в
интерфейсе

HTC Touch Pro
• Звуковые профили:
• Будильник можно поставить на
работу всегда, в не зависимости
от того, выключили ли вы общий
звук или нет
• Звуковые профили –
обычный/вибро/без звука
• Специальный профиль
«Автоматический», который
переключает поведение
телефона в режим «Вибро» во
время встречи в календаре и
переключается в поведение
телефона «Обычный» после
завершения встречи

Существующие примеры
• Датчики освещенности в машинах,
• GPS-устройства и приложения,
• Online Presence в IM (Skype/Messenger/ICQ)
• Автоопределение положения UI
относительно земли (iPhone)
• Контекстные меню в Microsoft Office 2007
• Звуковые профили в HTC Touch Pro
• …

Контекст – это...
• Ситуация, в которой находится продукт
+ изменение этой ситуации
• Рассмотрим определения контекста,
данные различными компаниями и
организациями, на примере Intel и ISO

Определение контекста (Intel)
• Контекстно-зависимая • Контекст платформы
система может определять – Местоположение
следующие контексты: – Передвижение
– Сеть
• Контекст среды – Состояние батареи
– Физическая среда – Доступные возможности
платформы
– Устройства
– Текущие приложения
– Сервисы
– Уровень использования
памяти
• Контекст пользователя
– Identity
– Физическое состояние
– Психическое состояние
– Активности
– Контакты
– Предпочтения
© Intel 2008, “Context Aware User Interface”, Intel Developer Forum

Определение контекста по ISO 9421-11
Контекст – это
Инфраструктура Пользователь пользователи, их
• Оборудование • Цели цели и задачи,
• Программы • Задачи инфраструктура
• Материалы (оборудование,
программное
обеспечение и
материалы), а
Физический Социальный также физическая и
контекст контекст социальная среда, в
которой используется
продукт…

Что такое контекстно-
зависимые системы?
Контекстно-зависимые системы – это
системы, меняющие свое поведение, когда
меняется ситуация

Сенсоры
• Сенсор (датчик) – устройство, которое
измеряет какую-либо физическую
величину и преобразует ее в сигнал,
доступный наблюдателю
• Сенсоры помогают определить
элементы контекста, которые
компьютерному устройству сложно
определить традиционными методами.

Контекстно-зависимые системы
и сенсоры уже есть на рынке
Исследовательские Производители
организации
Индустрия сенсоров
+ +
Университеты Партнеры
Институты Разработчики ПО

Идеи для размышлений
1. Уровень громкости в медиа-плеере автоматически
увеличивается, когда пользователь находится в шумном
помещении.
2. Устройство изменяет уровни яркости и контрастности экрана в
зависимости от уровня освещенности.
3. Текст и изображения на экране мобильного устройства
увеличиваются, если пользователь держит его в руках.
4. Когда пользователь приходит с работы домой, его портативный
компьютер автоматически меняет изображение на рабочем
столе, скрывает корпоративные приложения и отображает
ярлыки на развлекательные программы и игры.
5. После того, как устройство перевернули, интерфейс изменяет
ориентацию экрана.
6. Компьютер может следить за медицинскими показателями
(например, за давлением, частотой сердечных сокращений и
уровнем сахара в крови) меня или членов моей семьи.

Текущие ограничения сенсоров
• Устройства определения местоположения доступны в
системе через виртуальные COM-порты
– Только одно приложение может иметь доступ к данным о
местоположении
– Не безопасно
– Закрытые форматы данных (NMEA и т.д.)
• GPS не работает внутри зданий
– Сложно поддерживать работу нескольких технологий
одновременно
• Сенсоры интегрированы как вертикальные решения
– Приложения должны знать специфику сенсоров
(собственные драйверы, собственные API)
– Низкая распространенность сенсоров и применение

Windows Sensor и Location Platform
• Новая платформа в Windows 7
• Единая модель драйверов для всех сенсоров
– Физических сенсоров (GPS, ALS и т.д.)
– Логических сенсоров (Wi-Fi triangulation resolver)
• Предоставляет стандартные API для доступа к
сенсорам:
– Sensor API: C++/COM
• Полный доступ ко всей информации сенсора
– Location API: C++/COM, IDispatch (scriptable)
• Абстрактизированный API для доступа к данным о местоположении
• Пользователь сам управляет разрешениями об
использовании информации о нем (местоположение
и т.д.)

Sensor and Location Platform
User
System
Logical Location Sensor
(Triangulation)

Преимущества Location Platform
• Один вызов API, чтобы выяснить, «Где я»
– Независимо от провайдера данных о местоположении
– Синхронные и асинхронные модели
– Совместимость для скриптов/автоматизации
• Автоматическое переключение между провайдерами
– Наиболее точные провайдеры данных – наиболее
приоритетны
• Одновременный доступ к данным о местоположении
из нескольких приложений
• DefaultLocation
– Способ пользователю самому задать свое местоположение,
когда автоматически определить местоположения нельзя

Типы данных о местоположенни
• Географические данные (ILatLongReport)
– Широта, долгота, высота, ассоциированные с точкой на
карте
– Ошибка на высоту
– Наиболее общий формат данных
– Лучший формат для передачи данных о
местоположении
– В дальнейшем можно преобразовать в почтовый адрес
• Почтовый адрес (ICivicAddressReport)
– Почт.индекс, страна - обязательно
– Наиболее понятен пользователю
– Самый лучший формат для приблизительных
предположений, расчетов

Демонстрация

Управление безопасностью и ограничение
доступа к персональной информации
• Данные о местоположении пользователя - PII
– Пользователь обязан подтвердить намерение давать информацию
приложениям о его местоположении
• Все сенсоры выключены по умолчанию
• Администратор-
ские права нужны
для включения
сенсоров
• Доступ к сенсорам
ограничен на
уровне пользователей
• «Разрешить
использование
сенсора» в ваших
приложениях

Материалы
Сайты и ресурсы: Блоги:
• Сайт Sensor and Location Platform (EN) • Gavin Gear (Sensors PM, EN):
• http://www.microsoft.com/whdc/sensors/ • http://blogs.msdn.com/gavingear/
• Выступление Dan Polivy (Lead PM, Sensor & • Jim Travis (SDK Lead, EN):
Location Platform) на Microsoft PDC 2008 (EN) • http://blogs.msdn.com/jimtravis/
• http://channel9.msdn.com/pdc2008/PC25/
• http://www.aeroxp.org/2008/11/windows-7- • Daniel Kornev (EN):
sensors-framework-interview-from-pdc/ • http://blogs.msdn.com/semantics/
• Форум MSDN для разработчиков (EN) • Jensen Harris (Office, EN):
• MSDN Forum • http://blogs.msdn.com/jensenh/archive
/tags/Contextual+UI/default.aspx
• Reverse Code (LatLong ↔ CivicAddress)
with Virtual Earth
• http://msdn.microsoft.com/en-
us/library/cc966828.aspx

Иерархия потребностей по Маслоу
Самоактуализация
(Саморазвитие)
Самоуважение
(статус, признание)
Социальные потребности
(принадлежность, любовь)
Потребность в безопасности
(безопасность, защита)
Физические потребности
(голод, жажда)

Место Microsoft
Приложения
Сенсорная платформа
Операционная система
Аппаратное обеспечение
Сенсоры

Бизнес модель от инновации до платформы
Определение
Удовлетворение иннновационной Оценка
потребностей идеи и создание
эффекта от
экосистемы прототипа
инвестиций
Стандитизация и
Преобразование в
интеграция в
платформу продукт
Удовлетворение Удовлетворение
запросов Использование потребностей
инвесторов эффекта потребителей
масштаба

Это тренд
• Рынок сенсоров испытывает активный рост
• Увеличивается интерес индустрии к использованию
контекстной информации и сенсоров

Резюме
Инфра- Пользо-
структура ватель
Социаль-
Физический
ный
контекст
контекст
Контекстно-зависимые системы
Контекст
Платформа
Сенсоры

Призыв к действию
• Используйте Windows Sensor и Location
Platform, чтобы создавать LBS-сервисы,
приложения и гаджеты
• Реализуйте UI, зависящий от яркости
помещения/пространства, в котором
находится пользователь в ваших
приложениях
• Создавайте приложения, знающие об
изменениях в окружающей среде,
используя дополнительные сенсоры и
Sensor и Location Platform

© 2008 Microsoft Corporation. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be
registered trademarks and/or trademarks in the U.S. and/or other countries.
The information herein is for informational purposes only and represents the current view of Microsoft Corporation as of the date
of this presentation. Because Microsoft must respond to changing market conditions, it should not be interpreted to be a
commitment on the part of Microsoft, and Microsoft cannot guarantee the accuracy of any information provided after the date of
this presentation.
MICROSOFT MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.