Vinci - это второе по популярности приложение в мире для обработки фотографий с помощью нейронных сетей. Расскажу, как менее чем за месяц с нуля разработать и развернуть приложение, обработать 3 миллиона фотографий на GPU в день запуска и не упасть. Доклад будет разделен на 3 части: 1) Менеджинг задач при работе с GPU, как найти компромисс между надежностью и максимальной производительностью. 2) Обзор инструментов, подводных камней и софта. 3) Что можно и нужно оптимизировать, какие есть дальнейшие перспективы. Цель доклада – развеять миф, что нейросети это сложно.

1. Highload на GPU, опыт Vinci Олег Илларионов HL 2016

2. 24часа
2недели
Первая версия
Релиз

3. 3 000 000
1 000 000
Фотографий обработано в день запуска
Уникальных пользователей за месяц

4. Machine learning is like highschool sex.
Everyone says they do it, nobody really does,
and no one knows what it actually is.

5. Artistic style

6. Artistic style

7. Artistic style

8. Artistic style

9. NodeJS / GO
Torch
Lua / Turbo
Стек технологий

10. Кастомный супервизор
Ubuntu / Debian
CUDA + CUDNN
Стек технологий

11. Железо
CPU VS GPU

12. Железо
Оптимизация под железо
Узкие и более длинные нейросети
CPU:
Доступно значительно больше памяти
Проще разработка / Отладка
Портируемость

13. Железо
Произодительность
Cuda / OpenCL
GPU:
Гигантское преимущество для обучения
Сильно ниже отказоустойчивость

14. Железо
Аренда сервера:
Amazon, NVIDIA K80 ~ $670 в месяц
Amazon, NVIDIA GRID ~ $484 в месяц
Dedicated, NVIDIA 1080 $250-$500 в месяц

15. Железо
NVIDIA GTX 1080
VS
NVIDIA TITAN X
NVIDIA TESLA M40 NVIDIA TESLA K80

16. Железо
NVIDIA GTX 1080
VS
NVIDIA TITAN X
NVIDIA TESLA M40 NVIDIA TESLA K80
7 TF 8.74TF
9 TF 11TF

17. Железо
NVIDIA GTX 1080
VS
NVIDIA TITAN X
NVIDIA TESLA M40 NVIDIA TESLA K80
7 TF 8.74TF
9 TF 11TF
5000$ 5000$
1200$700$

18. Железо
NVIDIA GTX 1080
GFLOPS
per
$
NVIDIA TITAN X
NVIDIA TESLA M40 NVIDIA TESLA K80
1.4 1.7
13 9

19. Железо
* Single precision
Memory Bandwidth
Memory Size

20. Архитектура
Фронты GPU сервера

21. Архитектура
Фронты
GPU сервера

22. Архитектура
Проще искать баги связанные с балансировкой моделей
Можно тестировать разные конфигурации
Кэширование изображений на GPU-серверах
Менее оптимальное распределение моделей
+
+
+
-

23. Распределение нагрузки
Смена модели 500-1000 ms
Распределение нагрузки постоянно меняется
Более 10 сек неприемлемо

24. Распределение нагрузки
Style1 Style2 Style3 Style4 Style5
Style1 Style1 Style1 Style2 Style2 Style3 Style3 Style4 Style5
Supervisor

25. Боттлнеки
GPU
Память
Сеть
Диск
Алгоритм супервизера

26. Организация обучения
Ручное обучение
FGlab, перебор всех возможных параметров
Редактирование исходного стиля
Для каждого стиля свой выбор слоев, и настроек обучения

27. Что дальше?
Среднее время обработки изображения в приложении
< 200ms
* Исключая время на скачивание результата

28. Offline
2 Гб оперативной памяти на одно изображение
~30мб одна модель на диске
~20сек на мобильном CPU

29. Сравнение скорости слоев
Входной блок (downsampling) 42%
Промежуточные блоки (каждый) 10%
Выходной блок (upsampling) 28%

30. Сравнение скорости слоев
Входной блок (downsampling) 42%
Промежуточные блоки (каждый) 10%
Выходной блок (upsampling) 28%
* iPhone 5s
1.4 сек
0.3 сек x3
0.9 сек

31. 128 vs 32 канала
128 каналов 9x9
32 канала 9x9 в resnet-слоях
ускорение 60%
CPU

32. 128 vs 32 канала

33. 3x3 vs 9x9
128 каналов 9x9
32 канала 9x9 в resnet-слоях
ускорение 60%
32 канала 3x3 в spatialfullconvolution
ускорение 20%
+
CPU

34. 9x9 vs 3x3

35. 3x3 vs 9x9
Not so much :(
GPU

36. Уменьшение веса модели
Оригинальная сеть 9x9 6.7 MB
* Только веса

37. Уменьшение веса модели
Оригинальная сеть 9x9 6.7 MB
* Только веса, 128 фильтров
Бинаризация весов 800 KB

38. Уменьшение веса модели
Оригинальная сеть 9x9 6.7 MB
* Только веса, 128 фильтров
Бинаризация весов 800 KB
Уменьшенная сеть 3x3 152 KB
32 фильтра

39. Уменьшение веса модели
44 раза

40. Подводные камни
* Недостаточно сделать git clone
* Зависание видеокарт
* Много сюрпризов в процессе нагрузочного тестирования
* Debian only
* Экосистема lua отличается нестабильностью
* VGG-19 сильно лучше VGG-16

41. Взгляд в будущее
Сетевой интерфейс
Масштабируемость
Портируемость
Базы данных Нейросеть
Надежность
Language specific
Manual
Manual
:(

42. Взгляд в будущее
Сбор данных
Обработка нейросетью
Выгрузка данных для использования
Было:
Realtime использование и обучение нейросети
Куда движется: