Downloaded 16 times
![Кастомные аллокаторы в Erlang
#define SIZE 100
ErlNifResourceType *resource;
static ERL_NIF_TERM sample_nif_function(ErlNifEnv *env,
int argc,
const ERL_NIF_TERM argv[]){
void *data = enif_alloc_resource(resource, SIZE);
return enif_make_resource(env, data);
}
static void custom_destructor(ErlNifEnv *env, void *obj){}
static int load(ErlNifEnv *env, void **priv, ERL_NIF_TERM load_info){
resource = enif_open_resource_type(env, NULL, "resource",
custom_destructor,
ERL_NIF_RT_CREATE, NULL);
return 0;
}](https://image.slidesharecdn.com/8-131107224822-phpapp01/85/Eltex-47-320.jpg)
Uploaded byOntico
Илья Щербак, Eltex
Документ описывает управление вычислительным кластером DSP-процессоров с использованием языка Erlang, подчеркивая важность специализированных вычислителей для эффективного решения задач цифровой обработки сигналов и анализа изображений. Обсуждаются архитектурные особенности, преимущества модели акторов, а также интерфейсы и взаимодействие между компонентами системы. Основной вывод заключается в том, что логика управления реализована на Erlang и предоставляет гибкое взаимодействие с DSP, упрощая замену вычислителей в системе.
Илья Щербак, Eltex
- 1. Управление вычислительным кластером DSPпроцессоров на Erlang Илья Щербак Eltex ilya@shcherbak.ru
- 2.
- 3. С чего всеначиналось?
- 4. Особенности специализированных вычислителей • • • • • Различные архитектуры(DSP, GPU, FPGA, ARM, etc) Сложность разработки Сложность отладки Низкий уровень Высокие требования к разработчику
- 5. – Как этогоизбежать?
- 6. – Как этогоизбежать? – Никак.
- 7. – Зачем этонужно?
- 8. – Зачем этонужно? – Решение специализированных задач более эффективно.
- 9. Когда это нужно • • • Нужноповысить вычислительную плотность Нужно сэкономить на энергопотреблении GPP не справляется с этой задачей или решение на GPP слишком дорого
- 10. Что хорошо делатьна DSP • • • Цифровая обработка сигналов Анализ изображений Обработка видео
- 11. Чего стоит избегать • • Бизнеслогика на вычислителях Монолитность системы
- 12. Модульная архитектура • • • DSP выполняетузкоспециализированную задачу DSP могут быть скоммутированы произвольным образом Бизнес-логика системы находится на уровне хоста
- 13.
- 14. The UNIX K.I.S.S. Простыечасти через прозрачный интерфейс
- 15. II. Actor modeland Erlang
- 16. Особенности модели акторов • • • Интефейс обменасообщениями Динамическое порождение других акторов Изоляция данных внутри актора, отсутствие shared state
- 17. Модель акторов хорошо подходитдля concurency систем
- 18. Erlang как реализациямодели акторов
- 19. Особенности Erlang VM • • • • Оченьдешевые процессы Легкие байнари Развитые extentions механизмы Сборщик мусора на каждый Erlang процесс (никакого Stop-World)
- 20. Erlang process какинтерфейс к вычислителю
- 21.
- 22.
- 23. Core Pack • • • • 8 ядер1025 MGz 8 функциональных модулей на ядро VLIW (Very long instruction world) архитектура L1/L2 configurable cache
- 24. On-Chip Memory • • • • 256 KBL1 Program Memory/Cache 256 KB L1 Data Memory/Cache 4096 KB L2 Memory/Cache 4096 KB MSM
- 25.
- 26. Figure 1-1 Functional BlockDiagram Memory Subsystem 4MB MSM SRAM 64-Bit DDR3 EMIF MSMC Debug & Trace Boot ROM Semaphore C66x CorePac Power Management PLL 32KB L1 P-Cache ´3 32KB L1 D-Cache 512KB L2 Cache EDMA 8 Cores @ up to 1.25 GHz ´3 TeraNet HyperLink Multicore Navigator Switch ´4 SRIO Ethernet Switch SGMII ´2 ´2 TSIP SPI UART ´2 PCIe I2C GPIO EMIF 16 Queue Manager Packet DMA Security Accelerator Packet Accelerator Network Coprocessor
- 27. Peripherals use incluster • • • EMIF EDMA3 PCIe
- 28.
- 29. SYS/BIOS • • • • • Real-time OS Управление памятью Механизмышедулинга Механизмы синхронизации Инструменты мониторинга и отладки
- 30.
- 31. PCIe Peripheral Component Interconnect • • Соединениеточка-точка Транзакционный протокол
- 32. DMA Direct Memory Access • Транспортданных через EDMA для снижения нагрузки на хост/DSP
- 33. MSI Message Signalled Interrupt • • Отсутствиегонок Расширенный набор векторов прерывания
- 34.
- 35. Функции драйвера • • Загрузка DSP Предоставлениеинтерфейса к DSP
- 36.
- 37.
- 38. Implemented interfaces • • read/write –для синхронных операций mmap/ioctl/poll – для асинхронных запросов
- 39.
- 40. Взаимодействие с кодом vs взаимодействиес приложением Скорость vs Безопасность VM
- 41. Erlang extentions • • • • Port extentions PortDriver Erlang DP NIF (Native Implemented Function)
- 42. Почему NIF –самый быстрый extention механизм • • • • Прямой вызов функции, как BIF Исполнение в контексте Erlang process Использование внутренних структур данных VM Прямой доступ к Heap процесса
- 43.
- 44. Гибридная схема • • NIF –как интерфейс доступа к Shared Memory Port extention – как интерфейс доступа к вычислителю
- 45. Гибридная схема shm_lib.so shm_lib.so Erlang VM OSProcess Host DSP DSP DSP DSP Cluster
- 46. Zero-copy mode или Magicbinary Erlang binary resource
- 47. Кастомные аллокаторы вErlang #define SIZE 100 ErlNifResourceType *resource; static ERL_NIF_TERM sample_nif_function(ErlNifEnv *env, int argc, const ERL_NIF_TERM argv[]){ void *data = enif_alloc_resource(resource, SIZE); return enif_make_resource(env, data); } static void custom_destructor(ErlNifEnv *env, void *obj){} static int load(ErlNifEnv *env, void **priv, ERL_NIF_TERM load_info){ resource = enif_open_resource_type(env, NULL, "resource", custom_destructor, ERL_NIF_RT_CREATE, NULL); return 0; }
- 48. Потоки данных всистеме Erlang VM – реальный поток – логический поток Process Producer – Erlang Port Process Consumer
- 49. Erlang VM кактонкий коммутатор App App App Erlang VM OS Peripherials Host DSP cluster
- 50. VI. Shared memoryframework
- 51. Задачи SHM framework • • • Аллокацияshared memory Серилизация/десерилизация Получение объекта по id
- 52. Shared memory allocation Buddymemory allocation
- 53. Lock free memoryaccess CAS operators
- 54.
- 55. Основные идеи доклада • • Управляющаялогика на Erlang • • Система на Erlang нужным образом коммутирует DSP Программа на DSP небольшая, хорошо выполняет определенную задачу При данной декомпозиции системы вычислитель легко заменяется, так как логика работает с ним как с черным ящиком
- 56. Спасибо за внимание! ИльяЩербак Eltex ilya@shcherbak.ru