Темы лекции: - Цифровой звук - Применения звука - Типы микрофонов - Запись звука в Audacity - Сведение дорожек в Ableton Live - Пульты и контроллеры - Обработка звука в Max/MSP - Анализ звука c/к Анализ и генерация видео и звука в реальном времени, УрФУ-ИММ, г. Екатеринбург. Весна 2015. Лектор Денис Перевалов

1. Интерактивный звук
с/к Анализ и генерация видео и звука
в реальном времени
Денис Перевалов, весна 2015 г., УрФУ-ИММ, г. Екатеринбург
http://uralvision.blogspot.com
http://vk.com/lections_media_processing
https://www.facebook.com/LectionsMediaProcessing
Цифровой звук
Применения звука
Типы микрофонов
Запись звука в Audacity
Сведение дорожек в Ableton Live
Пульты и контроллеры
Обработка звука в Max/MSP
Анализ звука

2. Что такое звук
Звук, в широком смысле — упругие волны, продольно распространяющиеся в среде
и создающие в ней механические колебания;
в узком смысле — субъективное восприятие этих колебаний специальными
органами чувств животных или человека.
Как и любая волна, звук характеризуется амплитудой и частотой. (Википедия)
http://blog.modernmechanix.com/mags/qf/c/PopularScience/9-1950/med_sound.jpg

3. Представление звука
в цифровом виде
Реальный звук захватывается микрофоном, затем подвергается аналого-
цифровому преобразованию.
Разрешение по времени - частота дискретизации, [процедура - дискретизация]
Разрешение по амплитуде - разрядность. [процедура - квантование]
Амплитуда
http://upload.wikimedia.org/wikipedia/commons/thumb/9/9a/Digital.signal.svg/567px-Digital.signal.svg.png
Время

4. Применения звука
Создание звукового фона
Воспроизведение готовых звуков и аудиотреков
Компьютер
Обработка звука
Манипуляции со звуком, захватываемым прямо
во время выступления (музыка, вокал, стихи)
Компьютер
Анализ звука
Вычисление параметров звука (громкость,
содержимое по частотам, темп, тон) и
использования для визуализации
Компьютер
Компьютер
Синтез звука
Превращение параметров, изображений,
движений, запахов в звуки и музыку
(сонификация, транскодинг)

5. Создание звукового фона
Подготовка звуков
1) Готовые звуковые
файлы
freesound.org
2) Синтез
Cubase, Reason
3) Запись в микрофон
Audacity
Сведение дорожек
Ableton Live

6. Микрофоны
Конденсаторный микрофон
Студийный
http://novotroitsk-rap.my1.ru/img/a4e6156c10.gif
http://harmonica.ru/content/study/articles/amplification_mics/
condenser.gif
Динамический микрофон
Концертный

7. Запись звука в Audacity
Запись, подрезка, нормализация, сохранение в файл (AIFF, WAV)

8. Сведение дорожек в Ableton Live

10. Пульты и контроллеры

11. Пульты и контроллеры

14. Обработка звука в Ableton Live

15. Обработка звука в Ableton Live

16. Обработка звука в Max/MSP
ekazha.wordpress.com/projects/line/
Перформанс “Одной линией”,
Екатерина Жаринова и Ольга Севостьянова, 2013г.

17. Обработка звука в Max/MSP

18. Анализ звука
Вычисление мгновенной громкости
Анализ спектра
Преобразования звука в изображение
https://masteringof.wordpress.com/examples/sounds/

19. Анализ звука
Звук обрабатывается блоками
(типичное значение - по 256 отсчётов)
44100 / 256 = 172,3 раза в секунду
0.0058 сек один блок
Чаще всего звуковые алгоритмы обрабатывают
полученный блок без задержки блоков, и суммарная
задержка между записью и воспроизведением равна
сумме двух блоков (запись + воспроизведение).
В нашем примере это 0.012 сек.
В то же время, сложные алгоритмы анализа звука могут
аккумулировать буферы для обработки; в этом случае,
итоговая задержка увеличивается.

20. Синтез звука
Источники входных данных:
Пульты
Датчики
Движения человека
Изображения
Видео
Звук также подаётся в звуковую карту блоками
(типичное значение - 256 отсчётов)
Пример - маятник; пусть его положение задаёт параметры звука