Senechal, Thibaud, Daniel McDuff, and Rana Kaliouby. "Facial action unit detection using active learning and an efficient non-linear kernel approximation." Proceedings of the IEEE International Conference on Computer Vision Workshops. 2015.

1. Facial Action Unit Detection using Active
Learning and an Efficient Non-Linear Kernel
Approximation

2. はじめに
• 表情検出に関する論文
• 能動学習（active learning）を用いて大量のデータから
効率よく学習を行う方法についての内容
2

3. 紹介論文
• Thibaud Senechal, Daniel McDuff, Rana Kaliouby:
“Facial Action Unit Detection using Active Learning and an
Efficient Non-Linear Kernel Approximation”, Proceedings
of the IEEE International Conference on Computer Vision
Workshops, 2015
3

4. 目次
• 背景
• 訓練データ
– 収集
– ラベリング
– 課題
• SVMによる分類
• 特徴抽出
• 提案手法
– 能動学習
– カーネル近似
• 実験
• まとめ
• おわりに
4

5. 背景
• 近年，多くの表情認識アプリケーションが開発されている
• 広告に対する見た人の反応の判定などに利用
– 自然に起こるわずかな表情の認識
– リアルタイム性
• 精度の高い表情認識に必要なもの
– 適切な特徴選択
– 分類器
– 大量の訓練データ
• 全てに人手でラベル付けするのは困難
• 学習や分類の際の計算量の増加
5

6. 訓練データの収集
• 認識したい表情の正例と負例を大量に集める必要性
• 大量のデータすべてに人手でラベル付けするのは困難
• 表情データベース
– Cohn-Kanade (CK+)[1]
– MMI[2]
– DISFA[3]
6
自然な表情を大量の人数から集める必要がある
• 特定の環境
• 作られた表情
• 収集した人数が少ない
多様性に
乏しい
[1] Lucey, P., Cohn, J. F., Kanade, T., Saragih, J., Ambadar, Z., & Matthews, I. (2010). The Extended Cohn-Kanade Dataset (CK+): A complete expression dataset
for action unit and emotion-specified expression. Proceedings of the Third International Workshop on CVPR for Human Communicative Behavior Analysis
(CVPR4HB 2010), San Francisco, USA, 94-101.
[2] Pantic, Maja, et al. "Web-based database for facial expression analysis." Multimedia and Expo, 2005. ICME 2005. IEEE International Conference on. IEEE, 2005.
[3] Mavadati, S. Mohammad, et al. "Disfa: A spontaneous facial action intensity database." IEEE Transactions on Affective Computing 4.2 (2013): 151-160.

7. • 顔面動作符号化システム（FACS; Facial Action Coding
System）
• 表情の分類に広く用いられる分類基準
• 顔の解剖学的な知見をもとに様々な顔の動きをコード化
• 表情の客観的な評価が可能
• FACSコーディングを行うには多くの
学習と経験が必要
→限られた人にしか出来ず，
訓練データのラベリング
7
大量のラベリングは困難
http://www.microexpressions.jp/mission.html

8. 訓練データに関する課題
• 既存のデータセットでは不十分
→動画コンテンツを見ている人の表情を
Webカメラを用いてオンラインで大量に収集（180万本）
• 大量のデータに人手でFACSコーディングを行うのは困難
• 実際に表情が現れているデータはスパース
8
有用なデータに優先的にラベル付けを行う手法の提案

9. 既存手法 – SVMによる表情分類(1)
• 表情分類には非線形SVMが広く使われる
1. 特徴ベクトルを非線形写像𝜙を用いて高次元空間に写像
2. 高次元空間でマージンが最大となる識別超平面を決定
9
元の空間 高次元空間 元の空間
識別超平面

10. 既存手法 – SVMによる表情分類(2)
• カーネル関数を導入すると非線形写像を求めずに識別面を
計算できる（カーネルトリック）
• RBFカーネルSVMが広く用いられる
– 𝜙は無限次元空間への写像となる
10

11. 非線形SVMの問題点
• 訓練データ数が増加すると計算量が大幅に増大
– 学習時の計算量はデータ数𝑁に対し𝑂 𝑁2 で増加する
– 識別面のサポートベクトルの数が増える
→分類時の計算量も増加（∝サポートベクトル数）
11
リアルタイムでの分類は困難
写像関数𝜙を近似する手法の提案

12. 特徴抽出
1. OpenCVの顔検出器を用いて顔の領域を抽出
2. 抽出した領域を正規化
– 目が水平になるように回転
– 96×96 pxに拡大or縮小
3. HOG特徴量を抽出
12

13. HOG（Histogram of Oriented Gradient）
• 本研究で用いられている画像特徴量
• 照明変化に対してロバスト
• 画像をセルに分割し，セル毎に輝度の勾配をヒストグラム化
13
https://www.slideshare.net/MPRG_Chubu_University/ss-32258845

14. HOGの計算(1)
1. 画像をセルに分割
– 論文では8×8 px
2. ピクセルごとに輝度の勾配方向qと
強度mを算出
14

15. 3. 0°～180°を6等分し，ビン毎に強度を加算して
セル内でヒストグラムを作成
4. ブロック（4×4セル）をずらしながら
ブロック内でヒストグラムを正規化
– 正規化は1つのセルに対し複数回行われる
HOGの計算(2)
15
（6×ブロック内のセル数×ブロック数）次元の
HOG特徴量
：ブロック内の(i, j)のセルのk番目のビン

16. 提案手法
1. 動画を見ている人の表情をWebカメラを用いて
オンラインで大量に収集
2. 一部のデータに人手でラベル付けを行い仮のSVMを作成
3. 仮SVMを用いて学習に有用なデータを選択し人手でラベル
付け（能動学習；Active learning）
4. 大量に得られたラベル付き訓練データを用いて
提案SVMで学習
16

17. 能動学習によるデータ収集(1)
• 有用なデータに優先的にラベル付けを行うための提案手法
• 本論文で識別する表情
– AU02（眉が上がる動作）
– AU04（眉が下がる動作）
– smile
• オンラインで180万の表情の動画を収集
• 人手によるラベル付け
– AU04：1858枚，AU02：3771枚，smile：6275枚
17
負
例
正
例

18. 能動学習によるデータ収集(2)
• AU02, AU04の正例はsmileよりスパース
→能動学習によりAU02, AU04を収集
1. ラベル付けしたデータを用いSVMで
AU02, AU04それぞれを判定する仮の分類器を作成
2. すべての動画をSVMで判定
→出力値（識別関数の値？）をシグモイド関数に通し，
0～100に正規化
3. 2.の値が2秒間以上連続して10を超えるセグメントを抽出
18
仮SVM
シグモイド関数
0
100

19. 能動学習によるデータ収集(3)
• 抽出されたセグメントに対し
平均値でランキング化
– 短くても出力の高いものは
上位に来る
• ランキングの上位からAU02, AU04をそれぞれ
13,500セグメントずつ収集
→AU02, AU04, smileのラベル付け
• 少なかったAU02, AU04の正例が多く得られた
– 正例集めだけでなく，負例集めにも役立つ
19
AU02, AU04 smile
能動学習なし 2%未満 20%
能動学習あり 30%ずつ 20%
それぞれの表情の正例を含むセグメントの割合

20. カーネルの近似(1)
• SVMによる分類を高速化するための提案手法
• SVMのRBFカーネル
が表す写像関数𝜙の近似 ෨𝜙を直接導出
→訓練データに直接適用して写像を行う（Nyström法）
• 訓練データからランダムに𝑁s個を選択
– 特徴ベクトル：𝒙𝑖 𝑖 = 1,2, … , 𝑁s
20

21. カーネルの近似(2)
• 𝒔：𝑁s個のサンプルに対するカーネル行列𝐾の固有値
（eigenvalue）
• すべてのデータに ෨𝜙を適用
→ 𝑁s次元空間上で線形SVMにより学習
– 分類にかかる時間のほとんどは ෨𝜙の計算（ ∝ 𝑁s ）となる
– 𝑁sを調整することによって精度と計算量のバランスを変えられる
21

22. 実験
• 能動学習とSVMのカーネル近似による性能の変化を評価
• 訓練データ
– 正例と負例を同数使用
– 訓練画像を動画セグメントから多くの異なる人物が
含まれるように抽出
• テストデータ
– 訓練データには含まれない2500人分の動画から10000枚の
テスト用画像を抽出
– 能動学習は使わずに収集
– AU02, AU04, smile以外の表情も含有
22
能動学習 AU02 AU04 smile
なし 1400 1800 1800
あり 5200 4800 4000
収集された正例動画セグメント数

23. 実験1 カーネル近似の性能評価
• カーネル近似を行ったSVMと他のSVMで分類性能を比較
– 線形SVM
– RBFカーネルSVM
– RBFカーネルを近似したSVM（提案手法）
• サンプルデータ数𝑁sを変更して比較
• 訓練データは能動学習により収集されたものを使用
23

24. 実験1 結果(1)
24

25. 実験1 結果(2)
25

26. 実験1 結果(3)
26

27. 実験1 考察
• どのSVMも訓練データを増やすと性能が上がる
• 提案SVMでは𝑁sを増やすと精度が上がり
RBFカーネルSVMの精度に近づく
• 訓練データ数が10000を超えると精度が
上がりにくくなったのは，数を増やしてもデータの多様性が
増しにくくなったためであると考えられる
27

28. 実験2 計算量と精度のバランスの評価
• 1秒間に分類できるフレーム数（FPS）と精度を測定
• HOG特徴量が抽出された後の分類にかかる時間を測定
• RBFカーネルSVM
– 訓練データ数Nを変化させた
• N=200, 1000, 2000, 4000, 10000, 20000, 40000, 80000
• 提案SVM
– ෨𝜙による写像の計算時間も含める
– 訓練データ数は80000に固定
– サンプルデータ数𝑁sを変化
• 𝑁s = 200, 500, 1000, 2000
• 能動学習で得た訓練データを使用
28

29. 実験2 結果(1)
29

30. 実験2 結果(2)
30

31. 実験2 結果(3)
31

32. 実験2 考察
• 線形SVM
– 分類時間はHOGの抽出時間（2500 FPS）に比べて無視できる
– AU02, AU04の精度が低い
• RBFカーネルSVM
– 訓練データ数が少なくても高い精度が得られた
– 分類時間は比較的遅い
• 提案SVM
– 𝑁sを大きくすれば精度は上がるが，分類速度は遅くなる
– 同じFPSで比較した場合RBFカーネルより高い精度が得られている
→精度と分類速度のトレードオフの改善
32

33. 実験3 能動学習の効果の評価
• 訓練データ収集に能動学習を用いる場合と
用いない場合を比較
• それぞれの場合について，得られた動画セグメントの中から
訓練画像を抽出
– 訓練画像数は同じ
– 画像中の異なる人物の人数は2～3倍異なる
33
能動学習 AU02 AU04 smile
なし 1400 1800 1800
あり 5200 4800 4000
収集された正例動画セグメント数（再掲）

34. 実験3 結果(1)
34

35. 実験3 結果(2)
35

36. 実験3 結果(3)
36

37. 実験3 考察
• 能動学習により性能は5%程度向上した
• 能動学習を用いない場合，訓練データ数10000～80000で
性能が大きく向上していない
– 数を増やしても多様性が向上しないため
• 能動学習により，学習に効果的な訓練データセットが
収集されている
37

38. まとめ
• 能動学習により大量のデータから訓練データを選択する
手法の提案
• SVMによる分類を高速化する手法の提案
• 実験により手法の有効性が示された
38