Библиотека Scala FRP, позволяющая конструировать системы потоковой обработки сигналов. Библиотека имеет хороший фундамент в виде теории сетей Петри. Применялась как основа системы обработки речи в режиме реального времени, в качестве интеграционной платформы распределённой ETL-системы. Доклад представлялся на конференции fpconf.ru (15.08.2015)

1. SynapseGrid
Язык описания систем реального времени
Арсений Жижелев, Мэйл.Ру Геймз

2. Введение

3. Системы реального времени – баланс
буферизации и latency
потоковая обработка событий/данных
+ функциональное программирование
 параллельность, надёжность
+ композиция систем
 модульность и интеграция
Аналоги SynapseGrid
(Simulink, AnyLogic, Spark, Rx)

4. Система ведения диалога
«Речевой портал»
Мотивация создания языка описания систем реального
времени

5. Речевой портал: выделение признаков
MFCC (CMU sphinx4)
● обрабатывается дискретный сигнал
● есть модули
– функциональные, без состояния,
– с состоянием,
– с собственной буферизацией и задержкой
● в поток встроены управляющие сигналы – начало/конец речи
● обратные связи
заказ такси
объявления

6. 10мс фреймы
100мс задержки (latency)
длительный процесс распознавания (~1x)
•  нельзя распознавать пакетно
реакция на события в реальном времени
• перебивание
• обратная связь от модуля произнесения
• телефония: соединение/занято
• диалог по второй линии
разветвлённые алгоритмы потоковой обработки
• выбор ветки обработки зависит от состояния
Речевой портал:
технологические потребности

7. I. DSL

8. I. DSL
Пример 1: Hello, World

9. Hello, World
object HelloSystem extends BaseTypedSystem{
val nameInput = input [String]("nameInput")
val helloOutput = output[String]("helloOutput")
(nameInput -> helloOutput).
map("Hello, "+_, "hello, + _")
}
val f = HelloSystem.
toStaticSystem.
toDynamicSystem.
toMapTransducer(
HelloSystem.nameInput,
HelloSystem.helloOutput)
val name = "World"
val hello = f(name)
val f = magic(HelloSystem)
val hello = f("World")
println(hello)
val s = HelloSystem.toStaticSystem
s.toDot().saveTo("helloSystem.dot")

10. I. DSL
Пример 2: VAD
Цепь обнаружения речи

11. •оценка текущего уровня громкости (мощности) и уровня фона
•сглаживание уровней
•подсчёт длительности условия: высокий уровень/низкий уровень
•переход в состояния: начало речи/речь/окончание речи/фон
•буферизация сигнала до момента принятия решения
•перенаправление сигнала речи на речевой выход
•формирование сигналов начала речи и окончания речи
•конфигурирование параметров оценки
Цепь детектирования речи VAD
(voice activity detection)
время
уровень
15dB

12. val currentStateLengthMs = state[Int]("currentStateLengthMs", 0)
continuousAudioInput.
map(_.timeFrame.deltaTimeMs, "deltaTimeMs").
addTo(currentStateLengthMs)
automaton.onAutomatonStateChanged.const(0).
saveTo(currentStateLengthMs, "len = 0")
VAD:
Подсчёт длительности текущего состояния

13. trait LevelsEstimationB extends Breadboard with InputB {
continuousAudioInput.
withState(levels).
stateMap({
case (levelsValue,mediaFrame) =>
val newLevelsValue = levelsValue.nextLevels(mediaFrame.energyDb)
(newLevelsValue,(newLevelsValue,mediaFrame))
},"energyLevel") >> mediaFrameWithLevels
(mediaFrameWithLevels -> newLevels).map(_._1, "_._1")
}
VAD:
Оценка уровня сигнала/фона

14. trait Breadboard extends BaseTypedSystem {
val settings: VadSettings
val speechEndBufferMs = settings.speechEndDecisionMs
val frameSizeMs = 10
//internal contacts for sub schemes interconnections
lazy val mediaFrameWithLevels =
contact[(Levels, MediaFrame)]("mediaFrameWithLevels")
lazy val newLevels = contact[Levels]("newLevels")
lazy val speechSurelyStarted = contact[Any]("speechSurelyStarted")
lazy val speechSurelyFinished = contact[Any]("speechSurelyFinished")
// The state of VAD algorithm
lazy val currentStateLengthMs = state[Int]("currentStateLengthMs", 0)
lazy val speechBufferReversed =
state[List[MediaFrame]]("speechBufferReversed", List())
lazy val levels = state[Levels]("levels", Levels())
}
Макетная плата (breadboard/protoboard)
Cake pattern

15. I. DSL
Пример 3: ETL

16. Extract Transform Load

17. I. DSL
4. Обзор возможностей DSL

18. Примитивы
• обычные Scala-функции
• контакты
• управляемые переменные состояния
Базовые средства композиции
• map, flatMap, flatten, filter, collect, foreach, stateFlatMap
• + несколько специальных DSL для частых задач
• обратные связи (!) «из коробки»
Средства абстрагирования/агрегации
• обычные trait’ы Scala – cake pattern/breadboard
• подсистемы с типизированными входами/выходами –
мультифункции
Язык SynapseGrid

19. State DSL: работа с состоянием (stateMap, stateFlatMap, updateState, withState)
• Специализированные инструменты для numeric, для списков, для игнибиторных дуг
• Зависимые переменные (spreadsheet): (update, onChange, dependsOn)
• Накопление данных до сигнала сброса: lastJoinUntil
Automata DSL: конечный автомат на основе событий, поступающих на разные
контакты
Continuation DSL: конечный автомат на основе событий с одного контакта
Switcher DSL: взаимоисключающие ветви(If, ElseIf, Else)
Discrete time DSL: управление дискретным временем: redlinks, delayN
Exception DSL: обработка исключений: tryMap, success, recover, unhandled
Инструментарий DSL/API

20. II. Исполнение системы
Однопоточное, параллельное, распределённое
Интеграция с другим кодом

21. Обрабатываемые данные – immutable сигналы:
case class Signal[T](contact:Contact[T], data:T)
Signal(nameInput, "World")
Signal(helloOutput, "Hello, World.")
Текущее состояние исполнения системы в дискретный момент i:
Seq[Signal[_]]
State(0) == Seq(Signal(nameInput, "World"))
State(1) == Seq(Signal(helloOutput, "Hello, World."))
Signal, треллис

22. Треллис – развёртка состояния во времени.
val trellis = Seq(
Seq(Signal(nameInput, "World")),
Seq(Signal(helloOutput, "Hello, World."))
)
trellis: Seq[Signal[_]]
Треллис
Signal(nameInput, "World")
Signal(helloOutput, "Hello, World.")

23. Сеть Петри – модель перемещения фишек по
двудольному ориентированному графу.
Контакт – позиция
Связь – переход
Сигнал – фишка
Семантика Synapse Grid – перемещение фишек по
орграфу, пока все фишки не окажутся в выходных
позициях.
Накладные расходы – O(1) на один переход одного
сигнала.
Сеть Петри
Signal(nameInput, "World")
Signal(helloOutput, "Hello, World.")

24. • обычная функция – один вход/один выход
• функциональная композиция – линейная
f: X => Y
• мультифункция – несколько входов и
выходов
• системная композиция – произвольные
ветвления
^f: X1 x X2 => Y1 x Y2
g: Signal => Seq[Signal]
Подсистемы
(мультифункция)

25. SystemBuilder – скрипт создания графа системы. Выполняется на
этапе конфигурирования. Используются средства Scala: functions, cake
pattern, for comprehension.
StaticSystem – immutable граф системы.
Используется для статического анализа и для конвертации в *.dot
_.toStaticSystem
SignalProcessor – исполнение системы.
Выполняются функции, привязанные к переходам.
DynamicSystem – инкапсулированный процессор + состояние системы
= чёрный ящик. Принимает и возвращает сигналы:
Signal[Input] => Seq[Signal[Output]]
Transducer – выбран один вход + один выход  построена функция,
скрывающая сигналы. Работает только с данными:
f(i:Input):Seq[Output]
Этапы конвертации системы
Runtime
Config time
Dev/test time

26. • никаких изменений кода системы, только
вызов .parallel у StaticSystem
• детерминированный результат эквивалентный
однопоточному запуску
• сериализованный доступ к state'у
• дополнительные накладные расходы на
параллельное исполнение. Поэтому имеет
смысл только при некоторых условиях.
Параллельное исполнение
val f = HelloSystem.
toStaticSystem.
toDynamicSystem.
toMapTransducer(
HelloSystem.nameInput,
HelloSystem.helloOutput)
val name = "World"
val hello = f(name)
val f = HelloSystem.
toStaticSystem.
parallel.
toMapTransducer(
HelloSystem.nameInput,
HelloSystem.helloOutput)
val name = "World"
val hello = f(name)

27. Хотим запустить сложную систему с подсистемами на нескольких хостах
Распределённый запуск: 1

28. Каждая подсистема оборачивается в эктор
Каждый хост тоже снабжается эктором
Распределённый запуск: 2

29. На каждом хосте добавляется слой роутеров, каждый из которых представляет свою подсистему
После старта эктора он регистрируется в своём роутере.
Подсистема ничего не знает о расположении других систем. Взаимодействует только со своим
роутером
Распределённый запуск: 3

30. III. Расширение библиотеки
https://github.com/Primetalk/SynapseGrid

31. DSL для описания системы
• SystemBuilder – контейнер для
создаваемых связей, входов и выходов.
Минимальный набор методов
• DSL – pimp-my-library – добавлены helper-
методы, позволяющие упростить создание
разных связей
• Extensions – механизм, позволяющий
добавить в SystemBuilder своё состояние,
и затем пользоваться им при
конструировании системы.
• StaticExtensions – механизм,
позволяющий добавить в StaticSystem
дополнительную информацию. Например,
hint’ы для deployment descriptor’а
Устройство библиотеки
SignalProcessor
• RuntimeComponent – инкапсуляция
логики обработки данных на
определённом контакте.
• RuntimeSystem – index по контактам.
С каждым контактом связаны
RuntimeComponent’ы, которые
обрабатывают сигналы.
• unhandledExceptionHandler –
обработка исключений уровня системы
• redlinks – механизм, позволяющий
сделать «сверхвремя» внутри одного
дискретного шага
• SystemConvertingSpi – конвертация
static-системы в RuntimeComponent.
Используются PartialFunction.
• TrellisProducer –
развёртка/построение треллиса во
времени с использованием
RuntimeSystem.

32. trait SwitcherDsl extends SystemBuilderDsl{
class SwitcherBuilder[T](c: Contact[T],
name: String = "")
(implicit sb: SystemBuilder) {
def If(condition: T => Boolean) =
ElseIf(condition)
def ElseIf(condition: T => Boolean) = {
val id = nextId
conditions += Condition(id, condition)
createContactForId(id)
}
def Else = compileBranches
}
implicit class SwitcherContactOps[T](
val c: Contact[T])
(implicit sb: SystemBuilder) {
def switcher(name: String = "") =
new SwitcherBuilder[T](c, name)
}
}
DSL: switcher
val level = contact[Int]("level")
val sw = level.switcher("sw")
sw.If(_ > 10) >> highLevel
sw.ElseIf(_ > 3) >> mediumLevel
sw.Else() >> lowLevel
val level = contact[Int]("level")
level.filter(_ > 10) >> highLevel
level.filter(i => i<=10 && i > 3) >> mediumLevel
level.filter(_ <= 3) >> lowLevel

33. IV. Приложения
Системы мягкого реального времени (reactive systems)
Обработка Big Data

34. Приложения: (reactive systems)
Системы мягкого реального времени
Речевые приложения
• Распознавание/синтез речи, ведение диалогов
Обработка звука в телефонии
• Телеконференции/очистка звука/подстройка громкости
• Сервисы самообслуживания (DTMF)
Обработка видеопотоков
Реализация SMS-сервисов
• биллинг
Распределённая обработка данных
• Анализ логов
• ETL
Мониторинг АСУТП

35. IV. Экосистема Big Data

36. СПАСИБО ЗА ВНИМАНИЕ
a.zhizhelev@corp.mail.ru
https://github.com/Primetalk/SynapseGrid