О том, как обучать нейросети анализировать эмоциональное состояние, пульс, дыхание и жестикуляцию людей. Дистанционная мониторинг эмоций человека.

1. Human-centered AI: распознавание
эмоций и физиологических сигналов
по видео
Ольга Перепёлкина

3. «ЧИТАЕМ»
ЭМОЦИИ ПО
ЛИЦУ
• "Эмоции
универсальны"
• "Эмоции
выражаются на
лице однозначно"

4. ACTION UNITS
Facial Action Coding System
(FACS, Ekman et al., 2002).

5. ACTION UNITS – AUTOMATIC DETECTION
• Автоматические
системы распознавания
FACS достаточно точны
(>90% accuracy).
• C++ Dlib (68 facial
landmarks).
• OpenFace
https://github.com/Tadas
Baltrusaitis/OpenFace

6. https://github.com/1adrianb/face-alignment https://github.com/facebookresearch/supervisi
on-by-registration

7. 7Lorem ipsum dolor sit amet consectetur
Microsoft
Amazon
Affectiva
Noldus
…

8. «ЧИТАЕМ»
ЭМОЦИИ ПО
ЛИЦУ
• "Эмоции
универсальны"
• "Эмоции
выражаются на
лице однозначно"

9. Женщина
испытывает
боль

10. Или нет?

11. Или нет?
Serena Williams
выиграла
чемпионат US
Open.

12. Ну это уж
точно эмоция
удивления

13. Хм…

14. Эмоция != лицевая
экспрессия
Нужно учитывать и другие каналы
17

15. CHALLENGES IN AUTOMATIC EMOTION
RECOGNITION

16. Mixed
emotions
Fake
emotions
Hidden
emotions
Missing
channels
Context is
important
“Ground
Truth” is noisy

17. Мультимодальный подход
Vocal affect
Poses & gestures
Heart rate
Respiration rate
Context
Facial expression
Audio
Video
Processing
Emotion classification
Text

18. IEMOCAP
(Busso et al., 2008)
Video
Audio
Motion capture
11.5 hours Happiness, anger, sadness, frustration,
neutral state
AFEW
(Dhall et al., 2012)
Video
Audio
2.5 hours Happiness, anger, sadness, fear, disgust,
surprise, neutral state
RECOLA
(Ringeval et al., 2013)
Video
Audio
EDA
ECG
5 hours Valence, arousal, social dimension
CMU-MOSEI
(Zadeh et al., 2018)
Video
Audio
65 hours Happiness, anger, sadness, fear, disgust,
surprise
EmotionMiner
(Neurodata Lab, 2018)
Video
Audio
150 hours 22 categories

19. Объединение модальностей
23

20. 24
Мультимодальный подход:
EmotionMiner Data Corpus [7 классов]
A V T A+V+T A+V+T+B
Precision 0,37 0,50 0,28 0,57 0,58
Recall 0,41 0,52 0,31 0,57 0,56

21. Beyond
human perception…
25

22. 26Lorem ipsum dolor sit amet consectetur
ВИДЕО С ИНДУКЦИЕЙ

23. 27Lorem ipsum dolor sit amet consectetur

24. 28
Фотоплетизмография (ФПГ)
ФПГ отслеживает изменения в
отражении или поглощении света,
вызванные пульсацией крови.

25. Lorem ipsum dolor sit amet consectetur
Бесконтактная ФПГ (rPPG)

26. 30
Методы удаленной фотоплетизмографии
rPPG Blind signal separation (BSS)
[Poh, McDuff, Picard, 2011]
Model-based
[Plane-Orthogonal-to-Skin, Wang et al, 2016]
Data-driven
[Niu et al., 2018; Niu et al., 2019]

27. 31
Data driven Heart Rate estimation
Video frames
Diff frames https://arxiv.org/pdf/1805.07888.pdf
3D Attention CNN Heart Rate

28. 32Lorem ipsum dolor sit amet consectetur
Где взять данных?

29. 33
Насинтезировать!
Video frames
Diff frames
3D Attention
CNN
Heart Rate
Pretrain on synthetic data

30. 34
MAE: 6.71
RMSE: 10.63
MAE: 4.93
RMSE: 9.41

32. 36
R-PPG vs фитнесс-треккеры (75 видео)
Tracker MAE (tracker) MAE (NDL)
Honor Band 4 8.69 0.97
Amazfit Bip 3.51 3.92
Xiaomi Mi Band 3 5.07 3.71
Apple Watch 2 3.81 2.61
Garmin 2.03 2.46
Samsung Gear S3 2.03 3.28
Mean ± SD 3.6 ± 4.9 2.4 ± 4.5

33. 37Lorem ipsum dolor sit amet consectetur

34. 38Lorem ipsum dolor sit amet consectetur

35. 39

36. 40Lorem ipsum dolor sit amet consectetur
https://api.neurodatalab.dev/

37. 41
neurodatalab.com
emotionsdemo.com
api.neurodatalab.dev
o.perepelkina@neurodatalab.com
Спасибо ♥