An important step is to automatically create a realistic three-dimensional avatar of the user. This procedure can be presented as a solution to the optimization problem, the details of the solution is a topic for the speech.

1. 1/15
ОЦИФРОВКА ЧЕЛОВЕКА ДЛЯ НАЧИНАЮЩИХ
Валерий Крыгин
Data Science Meetup
7 февраля 2018 года

2. 2/15
Сегодня обсудим
1 ARVI Lab
2 Основная идея
3 Построение модели
4 Оцифровка

3. 3/15
1 ARVI Lab
Предоставляем ресурсы для AI проектов
Пишите Кате Стецюк
k.stetsiuk@arvilab.com

4. 3/15
1 ARVI Lab
Предоставляем ресурсы для AI проектов
Пишите Кате Стецюк
k.stetsiuk@arvilab.com
Быстро 500+ ядер CPU

5. 3/15
1 ARVI Lab
Предоставляем ресурсы для AI проектов
Пишите Кате Стецюк
k.stetsiuk@arvilab.com
Быстро 500+ ядер CPU
Мощно 600 TFLOPS

6. 3/15
1 ARVI Lab
Предоставляем ресурсы для AI проектов
Пишите Кате Стецюк
k.stetsiuk@arvilab.com
Быстро 500+ ядер CPU
Мощно 600 TFLOPS
Много 3+ TB RAM

7. 3/15
1 ARVI Lab
Предоставляем ресурсы для AI проектов
Пишите Кате Стецюк
k.stetsiuk@arvilab.com
Быстро 500+ ядер CPU
Мощно 600 TFLOPS
Много 3+ TB RAM
Очень много 200+ TB дискового
пространства

8. 3/15
1 ARVI Lab
Предоставляем ресурсы для AI проектов
Пишите Кате Стецюк
k.stetsiuk@arvilab.com
Быстро 500+ ядер CPU
Мощно 600 TFLOPS
Много 3+ TB RAM
Очень много 200+ TB дискового
пространства
Просто завались 200 · 103
ядер GPU

9. 3/15
1 ARVI Lab
Предоставляем ресурсы для AI проектов и возможность
стажировки в компании
Пишите Кате Стецюк
k.stetsiuk@arvilab.com
Быстро 500+ ядер CPU
Мощно 600 TFLOPS
Много 3+ TB RAM
Очень много 200+ TB дискового
пространства
Просто завались 200 · 103
ядер GPU

10. 4/15
2 Основная идея
Хотим видеть партнёров по бизнесу в виртуальном мире

11. 5/15
2 Основная идея
Хотим жить в виртуальном мире

12. 6/15
2 Основная идея
Может, снимать с помощью специальных камер?
Fusion4D: Real-time Performance Capture of Challenging Scenes (2016)
Mingsong Dou, Sameh Khamis, Yury Degtyarev, Philip Davidson, Sean Ryan Fanello, Adarsh
Kowdle, Sergio Orts Escolano, Christoph Rhemann, David Kim, Jonathan Taylor, Pushmeet
Kohli, Vladimir Tankovich, Shahram Izadi

13. 7/15
2 Основная идея
Нужно переносить мимику на заранее подготовленную модель

14. 8/15
3 Построение модели
Сканируем голову человека

15. 8/15
3 Построение модели
Берём эталонную модель

16. 8/15
3 Построение модели
Ищем соответствие между вершинами двух моделей

17. 9/15
3 Построение модели
Результат

18. 9/15
3 Построение модели
Результат ошеломляет

19. 10/15
3 Построение модели
Зачем всё это?

20. 11/15
4 Оцифровка
Итоговая оптимизационная задача
σ2
· s
2
+
i∈I
q · R · Mi · s + b − ki
2
→ min
q,k,R,b,s
q — масштаб
R — матрица поворота
Mi — набор координат точки i в разных моделях (матрица)
b — вектор смещения
s — набор весов для каждой модели (вектор)
ki — точка сканированной модели, которая ближе всех других к q · R · Mi · s + b
ki = arg min
t∈T
t − q · R · Mi · s + b
2

21. 12/15
4 Оцифровка
Регуляризация
Если пропустить σ2
· s
2
, то в Нотр-Даме загрустит один Квазимодо

22. 13/15
4 Оцифровка
Тадам!

23. 14/15
Спасибо за внимание!
Как узнать больше?
Почитать статьи
A Morphable Model For The Synthesis Of 3D Faces (1999)
Volker Blanz and Thomas Vetter
FaceWarehouse: a 3D Facial Expression Database for Visual Computing (2012)
Chen Cao, Yanlin Weng, Shun Zhou, Yiying Tong, Kun Zhou
Markov Chain Monte Carlo for Automated Face Image Analysis (2017)
Sandro Sch¨onborn, Bernhard Egger, Andreas Morel-Forster, Thomas Vetter
Learning a model of facial shape and expression from 4D scans (2017)
Tianey Li, Timo Bolkart, Michael J. Black, Hao Li, Javier Romero

24. 14/15
Спасибо за внимание!
Как узнать больше?
Почитать статьи
A Morphable Model For The Synthesis Of 3D Faces (1999)
Volker Blanz and Thomas Vetter
FaceWarehouse: a 3D Facial Expression Database for Visual Computing (2012)
Chen Cao, Yanlin Weng, Shun Zhou, Yiying Tong, Kun Zhou
Markov Chain Monte Carlo for Automated Face Image Analysis (2017)
Sandro Sch¨onborn, Bernhard Egger, Andreas Morel-Forster, Thomas Vetter
Learning a model of facial shape and expression from 4D scans (2017)
Tianey Li, Timo Bolkart, Michael J. Black, Hao Li, Javier Romero
И эту
Fusion4D: Real-time Performance Capture of Challenging Scenes (2016)
Mingsong Dou, Sameh Khamis, Yury Degtyarev, Philip Davidson, Sean Ryan Fanello, Adarsh
Kowdle, Sergio Orts Escolano, Christoph Rhemann, David Kim, Jonathan Taylor, Pushmeet
Kohli, Vladimir Tankovich, Shahram Izadi

25. 15/15
Спасибо за внимание!
Как узнать больше?
Спросить у меня
valeriy.krygin at gmail.com
facebook.com valerij.krygin