Мультимедиа – технологии.
Перспективы на 5 и 50 лет.
Multimedia
• Мультимедиа – это современная
компьютерная информационная
технология, позволяющая объединить в
компьютерной системе текст, звук,
видеоизображение, графическое
изображение и анимацию
(мультипликацию).
• Information appliance - информационное
приспособление.
Цели применения продуктов,
созданных в мультимедиа-
технологиях
• Популяризаторская и развлекательная.
• Научно-просветительская или
образовательная.
• Научно-исследовательская.
Информация и данные
• Квант информации
Источник
данных Канал связи
Приемник
данных
Составляющие части мультимедиа
• Мультимедиа – это сумма технологий,
позволяющих компьютеру получать,
обрабатывать, хранить, передавать и
отображать (выводить) такие типы данных,
как текст, графика, анимация,
оцифрованные неподвижные
изображения, видео, звук, речь.
Текст
На процесс восприятия (а значит, и понимания)
текста, расположенного на экране дисплея, влияет
целый набор факторов. Это:
• Размер текстовой зоны.
• Способ выравнивания текста.
• Расположение текста на экранной
странице.
• Начертание символов.
• Стиль и размер шрифта.
Восприятие человеческим
мозгом печатных слов.
• По рзелульаттам илссеовадний
одонго анлигйсокго
унвиертисета, не иеемт занчнеия,
в кокам пряокде
рсапожолены бкувы в солве.
Галвоне, чотбы преавя и
пслоендяя бквуы блыи на мсете.
Осатьлыне бкувы мгоут селдовтаь
в плоонм бсепордяке, все-рвано
ткест чтаитсея без побрелм.
Пичрионй эгото ялвятеся то, что
мы чиатем не кдаужю бкуву по
отдльенотси, а все солво
цликеом.
Текст
• Печатный текст
• Гипертекст
• Автоматический перевод
• Электронные сообщения
• Индексация
• Известные правила чтения
• Универсальное средство коммуникации
Текстовый интерфейс
• Командная строка. Приглашение оболочки,
обозначающее готовность системы
принимать команду пользователя, — в
наиболее явной форме демонстрирует
идею диалога.
Звук
• Роль звука в жизни человека
• Кодирование звука
• Стереоэффекты и окружающий звук
• Системы распознавания речи
• Синтез речи
• Эхолокация
Кодирование звука
• LPCM.
• DTS-HD Master Audio.
• Dolby Digital Surround EX.
• Dolby Digital Plus.
• DTS.
• DTS ES.
• DTS 96/24.
• HD звук.
• Dolby Digital TrueHD.
• DTS-HD High Resolution Audio.
• Dolby Digital.
Стереоэффекты и окружающий звук
• Для реализации технологий
трехмерного
позиционируемого звука
необходимы специальные
программные и аппаратные
компоненты, посредством
которых осуществляются
формирования
интерактивного звукового
ряда.
Звуковые проекторы
Звуковые проекторы
• Формирование звукового луча
Эхолокация
Речевой интерфейс
• Телеуправление
• Дополнительный набор команд
• Обратная связь
• Набор текста
Визуальная информация
• Задача синтеза изображений
• Структура и оптика глаза
• Спектральное и темпоральное восприятие
света
• Визуальныя явления
• Восприятие глубины
Задача синтеза изображений
Знания,
идеи
Изображение
Текст
Модель функционирования зрительной
системы
• Для синтеза убедительных изображений нужно
понимание принципов функционирования человеческой
зрительной системы.
• Модель этого механизма – генерация изображений,
аналогичных воспринимаемым глазом и мозгом
и создание ощущения полной реалистичности
синтезированного изображения.
• Любая зрительная система состоит из двух частей
– оптическая
– чувствительная
Электромагнитный спектр
• Видимым диапазон
– Диапазон частоты электромагнитного излучения, на
который реагирует чувствительная система глаза
– Обычно в видимый диапазон включают частоты от 380 до
780 нанометров (1 нм = 10-9м)
Структура и оптика глаза:
светопреломляющий аппарат
• Как мы видим свет:
– Световые лучи входят в глаз
через роговицу
• фокусировка
– Проходят через зрачок,
окруженный радужкой
• Изменение количества света
– Проходят через хрусталик
• дальнейшая фокусировка)
– Проходят через стекловидное
тело
– Попадают на сетчатку
• Изображение уменьшенное
и перевернутое
Структура и оптика глаза:
аккомодационный аппарат
• Аккомодация – процесс увеличения оптической
силы глаза для поддержания четкого
изображения на сетчатке
Структура и оптика глаза: рецепторный
аппарат
Поле зрения глаза
составляет 125° по
вертикали и 150° по
горизонтали
В каждом глазу 6
млн колбочек и
120 млн палочек
Визуальные явления: чувствительность к
контрасту
• Чувствительность зрительной системы к
контрасту определяет способность
восприятия деталей и общую четкость
восприятия
Визуальные явления: яркостный
контраст
• Яркость цвета зависит от контекста
• Невозможно выбрать два цвета и ожидать
предсказуемого поведения в разных
частях изображения
Яркостный контраст: пример
• I(A) = I(B) !
Яркостный контраст: пример
Восприятие глубины
Информация о глубине
Окуломоторная Визуальная
АккомодацияКонвергенция Бинокулярная Монокулярная
Параллакс
Статические подсказки
Взаиморасположение
Размер
Перспектива
Линейная
Текстура
Воздушная
Стереоданные
Ретинальный диспаритет
Монокулярная глубина:
взаморасположение
• Если ретинальный
диспаритет и
взаморасположение
противоречат,
взаиморасположение
имеет приоритет!
Монокулярная глубина: размер
• Большие объекты кажутся ближе
• «Знакомый размер» - любой объект, размер
которого известен, влияет на воспринимаемый
размер соседних объектов
Размер: лунная иллюзия
• Угловой размер Луны постоянен
• Но Луна кажется больше около горизонта и меньше – высоко
в небе
• Природа эффекта до конца не разгадана
• Возможное объяснение – эффект «знакомого размера»
Монокулярная глубина: перспектива
• Перспектива – результат работы
оптической системы глаза
• Наиболее привычный эффект
• Варианты построения перспективы:
– Линейная
– Текстурная
– Воздушная
Перспектива: линейная
Перспектива: форсированная
перспектива
Ames room
(Адельберт Амес, 1946)
Перспектива: текстурная
• Изменение в
размере, цвете,
расстояниях
Перспектива: воздушная
Красные объекты кажутся ближе
Синие - дальше
Темные объекты кажутся ближе, чем
светлые
Восприятие глубины: параллакс
• Параллакс – изменение видимого положения объекта
относительно удалённого фона в зависимости от
положения наблюдателя
• Зная расстояние между точками наблюдения и угол
смещения, можно определить расстояние до объекта
Виртуальная реальность
• Тренажеры и симуляторы на базе
технологии виртуальной реальности.
• Автоматизированные интерактивные
обучающие системы.
• Виртуальное прототипирование,
макетирование.
Тренажеры и симуляторы
Тренажеры и симуляторы
Тренажеры и симуляторы
Автоматизированные
интерактивные обучающие системы
Виртуальное прототипирование,
макетирование.
Дополненная реальность
Дополненная реальность
Устройства телеприсутствия
Устройства телеприсутствия
Мультимедийные интерфейсы
пользователя
• Материальный интерфейс пользователя
• Сенситивный интерфейс
• Тактильный интерфейс
• Жестовый интерфейс
Материальный интерфейс
Материальный интерфейс
• Материальные биты — это попытка
придать цифровой информации
физическое обличие, делая биты
осязаемыми и потому доступными
напрямую. При этом преследуется цель
неразрывно связать такие разные
сущности, как миры битов и атомов.
Материальный интерфейс
Материальный интерфейс
Сенситивный интерфейс
Тактильный интерфейс
Жестовый интерфейс
Жестовый интерфейс
Доклад закончен,
спасибо за внимание.

Тренды мультимедиа. Николай Карнаух