Artisto - первое в мире мобильное приложение для обработки видео с помощью нейросетей в стиле картин художников и любых исходных изображений. Приложение вошло в топы AppStore и Google Play в США. В рамках доклада расскажу: - как научить нейросети рисовать, а, главное, красиво и быстро; - про особенности переноса стиля на видео; - про технологический стек.

1. Artisto: опыт запуска
нейросетей в production
Тянтов Эдуард, Mail.ru Group

3. Artisto
1-е мобильное приложение стилизации видео в мире
Уникальная технология стабилизации видео
Приложение с технологией разработаны за 1 месяц

4. Кратко про нейронные сети

5. 1. Многослойный
персептрон, 1960
2. Обратное распространение
ошибки, 1974
3. Сверточная сеть,
1990-е
Нейронные сети

6. Color image (RGB) Feature maps3 channels
Convolutions
Input
output
Операция свертки

7. Профит:
• уменьшение кол-ва вычислений
• относительная устойчивость к сдвигу и повороту изображения
Операция pooling

8. edges object parts (combination of edges) object models

9. ImageNet Challenge

10. Архитектура
популярной
VGG-сети
Архитектура сверточной сети

11. Перенос стиля на фото

12. Изображение Стиль
Стилизованное
изображение
+ =
Перенос стиля: цель

13. Перенос стиля: история
A Neural Algorithm of Artistic Style
Texture Networks: Feed-forward Synthesis of Textures and Stylized Images
Perceptual Losses for Real-Time Style Transfer and Super-Resolution
Запуск Prisma
Vinci
Artisto
Sept 2015
10 Mar 2016
27 Mar 2016
11 June 2016
28 Jul 2016
29 Jul 2016
t
в

14. Используем VGG-сеть как feature extractor
x
c
Feature maps
Feature maps
Восстановление контента

15. Target
output
Error back propagation
Оптимизируем изображение x по целевой функции L(x,c).
x
x
Восстановление контента

16. Различные
итерации
слой: conv4_2
Восстановление контента

17. • Первые слои хорошо восстанавливают изображение
• На более глубоких:
• нечеткие линии, т.к. меньше информации о пространственных координатах
• теряются цвета
conv1_1 conv2_1 conv3_1 conv4_1 conv5_1
Восстановление контента

18. • Надо избавиться от пространственного положения фич
• Простое решение: посчитать среднее
• Сложное: матрица ковариации между картами признаков
Feature maps
Попарные ковариации
F
Width
Height
Depth
Ковариационная
матрица
Feature maps
F
Width
Height
Depth
Среднее по
Width&Height
Mean vector
Восстановление стиля

19. Error back propagation
Feature maps
Feature maps
Восстановление стиля

20. Различные итерации
Восстановление стиля

21. • Получился шум в стиле Ван Гога: цвета, мазки
• Пространственные координаты полностью потеряны
conv1_1
conv1_1
conv2_1
conv1_1
conv2_1
conv3_1
conv4_1
conv1_1
conv2_1
conv3_1
conv4_1
conv5_1
conv1_1
conv2_1
conv3_1
Восстановление стиля

22. Комбинированный loss
s
c
x
Error back propagation

23. Детали контента сохраняют позицию, но перерисовываются нужным стилем.
Комбинированный loss: результат

24. + Мерджит две любые картинки
+ Не требует обучения сети
+ Код на различных DL-библиотеках: TensorFlow, Torch, Theano
- Долгая работа алгоритма для онлайна
• CPU: 5min
• GPU: 10-15 sec
Artistic Style: резюме

25. Вместо оптимизации изображения
обучаем сеть, которая трансформирует его в стилизованное.
Real-Time Style Transfer

26. Обучение сети-генератора
s
X

27. «Пирамида»: сеть видит исходное изображение в разных
разрешениях.
Convolution
block
Join block
Структура сети-генератора

28. + Скорость: можно сделать онлайн-обработку фото/видео
• Inference: 20-100 ms на GPU
- Требует обучения модели под каждый стиль.
- Длительность: 1-4h (GPU, Titan X)
- Тяжело экспериментировать
- Код только на Torch (на момент разработки приложения)
Real-Time Style Transfer: резюме

29. Эксперименты

30. «Жертва» экспериментов

31. Artistic style: из коробки

32. • Хорошо передает стиль (мазки, цвета)
• Трудно добиться «чистых» изображений
• Удалось оптимизировать до 100 мс/фото под один из стилей
Итог: не подходит из-за скорости.
Artistic style: резюме

33. Content Style Expected result
+ =
Ожидание
Real-Time Style Transfer

34. Реальность
Style
Real-Time Style Transfer: из коробки

35. • Из коробки плохая стилизация
• Трудно экспериментировать из-за долгих итераций обучения
• Хороший результат:
• код на Torch Ульянова
• + модель генератора Johnson’а
• + патчи
Real-Time Style Transfer: результат

36. Стиль
Результат
Real-Time Style Transfer: результат

37. Улучшения алгоритма для видео

38. Недостатки решения: лица

39. • Алгоритму выгодно накладывать текстуру
на «пустые» области
• Рябь сильно ухудшает качество видео
Недостатки решения: рябь на видео

40. Heatmap loss

41. То, что не может математика, может дизайнер.
Designer loss

42. Zoom интересной
области
Designer loss

43. Можно изменять исходные изображения при обучении, чтобы сеть
была устойчива к освещению/шуму/…
+noise
Augmentation

44. Super-resolution – улучшение разрешения фото.
+ Отлично подходит, чтобы убрать мелкий шум
+ Есть предобученная сеть waifu2x
- Скорость: дополнительный прогон через сеть
Super-resolution

45. Super-resolution: waifu

46. 1. Heatmap loss
2. Designer loss
3. Augmentation
4. Super-resolution
Стабилизация видео: резюме

48. Генерация стилей

49. • Большое кол-во параметров и их значений
• слои, веса, размеры картинок, …
• Оценка результата – «на глаз»
• Loss плохо коррелирует с качеством выходного изображения
• алгоритмы итеративны – много результатов => «глаз замыливается»
Итерация обучения
Красота
Сложности подбора стиля

50. • Обратный брутфорс проще,
чем прямой
• Надо найти несколько
наборов «рабочих»
параметров
• Дотюнивать кандидатов
руками
• Коробочное решение – FGLab
Интерфейс подбора стиля

51. Интерфейс подбора стиля

52. 1. Берем много стилевых картинок
2. Рабочие сеты гипер-параметров
3. Много GPU
4. Redbull/Monster
5. ???
6. PROFIT
Штамповка стилей

53. Результаты

56. • Пользователям легче работать с фото, чем с видео
• Больше нравятся лайт трансформации
User experience

57. • Пользователи юзали MSQRD/Snapchat + Artisto
• Добавили такой функционал из ICQ
• Перерисованные маски гармоничнее выглядят
Маски

58. Спасибо за внимание!
Вопросы?

59. Appendix

60. • Нейросети на Torch (LUA)
• Пробовали переписать на TensorFlow (Python)
• наткнулись на баг с выделением памяти на GPU
• Backend
• Docker-контейнер Ubuntu на centos7
• C + luajit
• Быстродействие на GPU
• 24ms, видео 350x350
• 75ms, фото 1024x1024
Технические детали

61. • Игровые карты Geforce Titan X и 1080
• серверные значительно дороже
• amazon: дорого, слабые карты (на момент запуска)
• На launch’е ставили PC из-за отсутствия серверов в продаже
• Большинство GPU-карт требуют особую материнскую плату
• Сервера: 4 x Titan X
Сервера

62. руководит процессом
Бэкенд

63. Модель генератора Johnson’а