Artisto:
стилизация изображений и видео при
помощи нейронных сетей
Андрей Калинин, руководитель проекта Поиск

Artisto
• Первое приложение
стилизации видео.
• Быстро попало в списки
лучших.
• Реализация известных
алгоритмов на нейронных
сетях.

VGG-16
Davi Frossard, VGG in TensorFlow,
http://www.cs.toronto.edu/~frossard/post/vgg16/

Visualizing and Understanding
Convolutional Networks, 2013
Matthew D. Zeiler, Rob Fergus, https://arxiv.org/pdf/1311.2901v3.pdf
Layer 2 Layer 3
Layer 4

Deep Inside Convolutional Networks, 2014
Karen Simonyan, Andrea Vedaldi, Andrew Zisserman, https://arxiv.org/pdf/1312.6034.pdf

A Neural Algorithm of Artistic Style, 2015
Leon A. Gatys, Alexander S. Ecker, Matthias Bethge; http://arxiv.org/pdf/1508.06576v2.pdf

Восстановление контента

Восстановление стиля

A Neural Algorithm of Artistic Style, 2015
Иллюстрация из Perceptual Losses for Real-Time Style Transfer and Super-Resolution, Mar 2016,
Justin Johnson, Alexandre Alahi, Li Fei-Fei, http://arxiv.org/pdf/1603.08155v1.pdf

Результат

А как сделать красиво?
Настраиваемые параметры:
• Вес контента, вес стиля.
• Количество итераций.
• Регуляризация.
• Уровни для восстановления
контента, с весами.
• Уровни для восстановления
стиля, с весами.

Деградация стилевого изображения

Texture Networks: Feed-forward Synthesis of
Textures and Stylized Images, 2016
Иллюстрация из Perceptual Losses for Real-Time Style Transfer and Super-Resolution, 27 Mar 2016,
Justin Johnson, Alexandre Alahi, Li Fei-Fei, http://arxiv.org/pdf/1603.08155v1.pdf

Texture Networks: Feed-forward Synthesis of
Textures and Stylized Images, 2016
Texture Networks: Feed-forward Synthesis of Textures and Stylized Images,
Dmitry Ulyanov, Vadim Lebedev, Andrea Vedaldi, Victor Lempitsky, 10 Mar 2016,
http://arxiv.org/pdf/1603.03417v1.pdf

Бэкенд
• NVidia GTX 1080 и TitanX.
• Torch.
• 5-6 миллионов параметров
на модель.
• 25ms на кадр.
• По 3 карты в сервере.
• Готовность расширится за
счёт облачных решений.

Artisto как модель ИИ приложений
• Искусственный интеллект – общедоступен.
Приложения делать просто.
• Программисты должны готовить
инфраструктуру.
• Важен простой и понятный способ настройки.

Спасибо за внимание!
Вопросы?
Андрей Калинин
руководитель проекта Поиск
kalinin@corp.mail.ru