Обзор курса Анализ и генерация видео и звука в реальном времени, 2015

1. Обзор курса
с/к Анализ и генерация видео и звука
в реальном времени
Д.С.Перевалов, весна 2015 г.
УрФУ-ИММ, г. Екатеринбург
uralvision.blogspot.com
vk.com/lections_media_processing
www.facebook.com/LectionsMediaProcessing

2. План лекции
• Типы и примеры проектов
• Ключевые технологии
• Как создать проект
• Ваш выпускной проект
• Принципы организации мероприятий

3. Типы проектов
• Видеоинсталляции и звуковые инсталляции
проекторы, камеры, синтез звука
• Медиаперформансы
танцовщики/перформеры, чтецы, микрофоны, VJ-
пульты, проекторы, камеры, сценарий, сценография
• Физические вычисления
Arduino, Raspberry Pi, 3D-принтеры, датчики,
серводвигатели.

4. Примеры проектов
Один из основных каталогов медиа-арт проектов:
www.creativeapplications.net
1) Funky Forest
Интерактивная детская комната-лес
http://www.youtube.com/watch?v=s4VvT1kPFHo
2) Body Paint – рисование виртуальной краской
https://vimeo.com/3576457
3) Sniff - интерактивная собака
http://www.vimeo.com/6400266
Как работает Sniff: http://www.vimeo.com/6421688
4) Tokisoda & Freak Cabaret: Light painting performance
Свето-театр http://www.vimeo.com/17465389
5) Водный музыкальный инструмент
http://www.youtube.com/watch?v=CZ_KijiwQHE

5. Ключевые технологии
Трекинг
Видео Звук
Датчики,
лампочки,
моторы

6. Как создать проект
I. Идея
II. Эскизы
III. Прототип
IV. Полная версия. Показ проекта
Продемонстрируем этапы создания проекта на нашем проекте
для Ночи Анимации 2011 г.

7. I. Идея
1) Когда и где состоится показ?
2) В чём суть проекта?
Иногда первична идея
Иногда первична технология, и под неё ищем идею
3) Какие использовать технологии ?

8. Пример идеи
1) Когда и где
Ночь Анимации 20 мая 2011 г. Проходить будет в кинотеатре. Спонсор - конфеты драже Skittles.
Задача - интегрировать Skittles в мероприятие и прорекламировать новый вкус Кисломикс.
Обязательные элементы - кислые фрукты: лимон, лайм, яблоко.
2) Суть проекта
На стене в холле кинотеатра будет видео проекция.
Проходящие мимо люди будут интерактивно взаимодействовать с изображением на экране.
Когда никого перед экраном нет, то из Скиттлз будет собираться логотип 2х2. И немного
анимироваться в самом логотипе, чтобы не было статично.
частицы собираются по всей площади логотипа как на магнит, скорость должна регулироваться в
программе.
Когда к экрану будет подходить человек, то будет собираться силуэт человека из Скиттлз, а вместо
головы будет случайным образом появляться один из набора кислых фруктов: лимон, лайм,
яблоко...
Когда человек отходит, все частицы ударяются в край экрана и резко осыпаются вниз. Потом опять
плавно собирается логотип.
Было бы хорошо распознавать несколько человек (до 3-5 может быть), чтобы у каждого была
голова - разный фрукт.
3) Технологии
Наверное нужно использовать кинект? Было бы лучше, если бы это было еще в 3Д. Просто может
быть точки, полученные из 3Д камеры кинекта заменять на частицы Скитлз?
Игорь <sodazot@ya.ru>
to: Denis Perevalov
<perevalovds@gmail.com>
Date: Thu, Apr 21, 2011

9. II. Эскизы
(1) Эскиз итоговой картинки или создаваемого
объекта
(2) Эскиз помещения
План или 3D-схема того пространства, в котором будет работать инсталляция
или выставляться объект. Можно сделать с помощью SketchUp.
(3) Аналогичные проекты
Найти видео-фото сходных проектов или похожей тематики.
Выяснить, какое оборудование использовалось, какие алгоритмы и
программы.
Если нашёлся очень похожий проект – понять, чем наш проект
отличается/интереснее/качественнее.

10. (1) Эскиз итоговой картинки

11. (2) Создание эскиза помещения в SketchUp
Очень удобная программа для рисования 3D-прототипов помещений.
Это делается с помощью двух основных инструментов – прамоугольник + выдавливание.

12. http://vimeo.com/12648375
(3) Аналогичные проекты

13. http://vimeo.com/8778788
(3) Аналогичные проекты

14. III. Прототип
Прототип - одна или несколько маленьких программок,
обычно не связанных между собой.
Их цель:
1) Испробовать все технологии и алгоритмы, требуемые
в проекте, но с которыми ранее не работали.
2) Оценить условия работы проекта в нужном
пространстве (габариты помещения, освещённость,
количество людей)

15. Пример прототипа
1) Трекинг силуэта человека
http://www.youtube.com/watch?v=WftBCwn1WyA
Denis Perevalov
<perevalovds@gmail.com>
to: Игорь <sodazot@ya.ru>
date: Sat, May 7, 2011

16. Пример прототипа
2) Поведение частиц
Сделал разлетание частиц по местам, чтоб они привязывались к неким
точкам и около них тряслись. (Сейчас тряски нет, только разлетание для
пробы) Похоже на пенопласт) : http://www.youtube.com/watch?v=lMasHVgn14E
Denis Perevalov <perevalovds@gmail.com>
to: Игорь <sodazot@ya.ru>
date: Sat, May 14, 2011

17. IV. Полная версия проекта
1) Объединение разрозненных прототипов
2) Нюансировка деталей
3) Итоговая настройка параметров
1) Монтаж, тестирование, показ

18. http://www.sodazot.com/index.php?/installations/skittles/
https://vimeo.com/24537220
Пример завершенного проекта

19. Дальнейшее развитие проекта
Доработка данного проекта
1) Нюансировка алгоритмов/графики
2) Добавление новых свойств/качеств
Использование для новых проектов
1) Превращение в другой проект изменением
графики/звука/параметров
2) Использование ключевых блоков, созданных в
проекте, для новых проектов.

20. 2011 – Инсталляция Мотыльки http://kuflex.com/MOTYL-
KI
…
Февраль 2015 – Интерактивная видеоинсталляция
Квантовая комната. Kuflex: Игорь (Sodazot) Татарников,
Денис Перевалов, Ксения Ляшенко
На выставке Life Zone в М’АРС, г. Москва
Пример развития проекта

21. Квантовая комната, Kuflex, 2015 г.

23. Ваш выпускной проект
Идея
1) Когда и где:
Предположительно:
Май 2015. Фестиваль фантастики «Аэлита», Екатеринбург.
2) Суть – ?
3) Технологии: проектор, кинект, микрофон, колонки,
распечатка объекта на 3D принтере, с датчиками.
Идея, эскиз – март 2015
Прототип – апрель 2015
Полный проект – май 2015

24. Принципы организации
мероприятий
Как организовать вечер/выставку, на котором можно показать
инсталляцию, перформанс, эксперимент?
Эта часть лекции подготовлена совместно с Екатериной Жариновой,
http://ekazha.wordpress.com