表情解析をMicrosoftのFaceAPIを用いて行いました。 表情の変化速度の出現頻度分布がべき分布であることがわかったため、べき指数の時系列変化が表情解析の1つの指標にならないか提案してます。

1. Face APIを用いた
表情速度の出現頻度解析
22/07/18 TakaKawa

2. 自己紹介
2
⃝名前：TakaKawa
⃝バックグラウンド：
・某私立大学応用化学科卒業
物理化学研究室にて、炭素材料グラフェンの電気物性を研究
→物性物理を学ぶにつれ、数理モデルの考え方を社会現象の解明に生かしたいと思う
ようになる。
・某国立大学情報科学研究科修了（工学修士）
複雑系科学研究室にて、表情の変化速度について表情認識APIを用いて研究
→挫折。社会人になってから、空き時間に研究を継続。今回の研究紹介につながる。
⃝興味のある分野
・計算社会科学会/社会物理学研究会/日本顔学会/日本物理学会 領域11…

3. • 「人間の感情/社会の動き」を自然科学として定量化する手段として、表情
筋の動きに着目した。
• MicrosoftのFace APIを使い、画像認識で表情の動きを定量化した。
• ①表情の変化速度(=表情速度)の出現頻度の確率密度分布がべき分布である
ことを確認。
• ②人間の表情速度の頻度分布がべき分布であることに対し、アンドロイド
は指数分布になること確認。
• ③べき分布のパラメータの時系列変化がこれまでの表情分析と異なる特徴
量を抽出していることを示唆。
SUMMARY
3

4. • “人間の感情” / ”社会の動き” や “意見” / “貨幣”などの抽象的な概念を
物理学と同様に、自然科学として定量的に議論することは可能か？
1. 自然科学としての人間行動（計算社会科学）-Background-
4
Fig.1 計算社会科学の関連領域
Ref.『計算社会科学入門』(2021?)
⃝計算社会科学とは？
「新たに利用できるようになったデータや技術(1)を駆使
し、個人や集団、そして社会をこれまでにない解像度
とスケール(2)で定量的に研究する学際領域」
(『計算社会科学入門』(2021))
(1) SNS(Twitter/Facebook)、ウエアラブルセンサ等
(2) 84カ国2400万人2年分約6億件のツイートを解析[1]
個人的な疑問
[1]Golder, S.A., M.W.Macy, Science, 333(6051), 1878-1881 (2011).

5. 1-1. オピニオンダイナミクスモデル -Background-
5
• 社会における”意見”形成のダイナミクスのモデル([2]Ishii, 2019)
Φ(Ij(t), Ii(t)) =
1
1 + exp(β|Ii − Ij | − b)
Ii(t), Ij(t)：人間 i, jの意見。大きいほど賛成。差が小さいほど合意。 合意形成の
ダイナミクス
合意形成しない
ダイナミクス
Dij ：人間 iからみる人間 jの信頼の様な量。(Dij≠Djiもありうる)
：IiとIjに差があるほど、0に近づく。
→意見が大きく異なる二人は相互作用しない。
DAB < 0
DBA < 0
意見
I(t)
A
B
t
DAB > 0
DBA > 0
意見
I(t)
A
B
t
・口コミ等のネット情報から映画/イベントのヒット現象を解析
・意見形成のように、感情形成をモデルかできないか？
Fig.3 N=2の合意/不合意の計算例
[2] A. Ishii,Proceeding of 19th International Conference on Group Decision and Decision and Negotiation in 2019 aJoint GDN-
EWG/BOR meeting. Springer LNBIP., 351, 193-204 (2019).
外部
マスメディア
Opinion Ii
i
Fig.2 Opinion Dynamicsの概念図
：意志の強さ(大きいほどIi(t)は変化しにくい)
m
dIi(t)
dt
= CiA(t)+ΣN
j=1DijΦ(Ij(t), Ii(t))(Ij(t) − Ii(t))
m
意志の強さ 外部メディアの影響 Ii(t)とIj(t)が遠いとゼロになる関数

6. 1-2. 腕の動きの測定 -Background-
6
Activity Count k[min−1
]
Cumulative
Distribution
P(k) =
exp[−k / kT ]
kT
Cumulative
distribution
C'(k)
Activity Count k[min−1
]
24時間に近づくにつれ
kT : Activity
Temperature
歩行
,
走行
,
対話…
7am
9pm
○ウエアラブルセンサによるActivity Count(=腕の揺れ回数/min)の測定([3]Yano, 2013)
Fig. 3 Activity Countの累積分布
(a)リストバンド型ウエアラブルセンサ[4] (b)7am-9am, 1h毎 (c)1日当たり
[3] K. Yano, MIND, BRAIN AND EDUCATION, 7, 1, 19-29 (2013).
[4] http://monoist.atmarkit.co.jp/mn/articles/1302/01/news080.html
・腕の揺れ(=骨格筋の運動作用)の観測により、人間の行動を定量的に観測。
・表情筋も骨格筋であるため、同様の解析ができないか？
(a)
(b) (c)

7. 2-1. 表情研究 -Background-
7
○Facial Action Coding System(FACS) 1960s
○Microsoft Face API[6]
・FACSは、表情の部分的表出であるAction Unit (AU)の組
み合わせで記述。
・定量的な測定ではなく、資格取得者により判断される。
A + C + D + F + H + N + Sa + Su = 1
Anger(A), Contempt(C), Fear(F), Disgust(D),
Happiness(H), Neutral(N), Sadness(Sa), Surprise(Su)
・FACSに基づき、深層学習により学習された顔認識AI
・表情以外に、人物特定/年齢/性別/姿勢なども検出可能。
AU6, AU12
Happiness
e.g.
Fig. 6 表情筋とHappinessのAU[5]
Fig. 7 Face APIによる表情認識例
[5] IMOTIONS HP https://imotions.com/blog/facial-expression-analysis/
[6] Microsoft HP https://docs.microsoft.com/en-us/xamarin/xamarin-forms/data-cloud/azure-cognitive-services/emotion-recognition

8. 2-2. 指数分布 / べき分布 -Background-
8
⃝指数分布
e.g.
放射性物質の崩壊
交通事故の発生
気体分子のエネルギー分布(ボルツマン分布)
⃝べき分布
e.g.
商品の売上分布
株価、為替等の市場価格の変動
所得分布(パレート分布)、
純資産の分布
ガラス破片の大きさ分布
・べき分布は指数分布に比べ、減衰が早く、裾が広い。
→xが大きい範囲でも、微小ながら確率が残る。社会現象で多く見られる。
p(x) = ax−b
p(x) = ae−bx
Fig. 8 正規分布/指数分布/べき分布の比較

9. 3. Purpose & Measurement
9
○目的：人間の行動の定量的観測として、表情筋(群)の動きに着目。
Face APIにより表情の8つ要素の速度(=表情速度)に関し、出現頻度の確率密度分布の型を特定。
○測定方法：Face API
○サンプル
サンプル名 内容 時間 FPS
①Andrew-Keisha1) 夫婦の会話 6 m 24
②アンドロイド2) 国際ロボット展の
案内
1m45s 30
X : A, C, D, F, N, H, Sa, Su
v1 = dX1/dt v2 = dX2/dt
○解析方法
24FPS~
→~0.04s毎に切り出し
dX/dt
出現の
確率密度
?
Fig. 10 解析方法の概念図
Fig.9 サンプル動画
1)「Keisha and Andrew: Why Did You Marry Me? | Glamour」https://www.youtube.com/watch?v=IT8Z6JIusdw
2)「美人すぎるアンドロイド ∼国際ロボット展2016∼[Japanese beautiful android]」https://www.youtube.com/watch?v=xaDOngX5ygk
①Andrew-Keisha
②アンドロイド

10. 4-1. ①Andrew @Andrew-Keishaの確率密度分布 -Result- 1
10
絶対値を取り、
両対数プロット
lnp = − bln|v| + lna
○表情速度の出現頻度の確率密度分布
無表情 or 他の表情→笑顔
or
笑顔→無表情 or 他の表情
or
H = Happiness
マイナス領域 プラス領域
・各表情速度に対し、出現頻度の確率密度しプロット
・+/-領域で対称な構造をとり、表情速度は極端に0付近に集中
・絶対値は両対数プロットで線形性を示すため、べき分布である。
dH
dt
=(笑顔の表情速度)
Fig.11 dH/dtの出現頻度確率密度分布

11. (参考)①Andrew @Andrew-Keishaの確率密度分布 -Result- 1
11
絶対値を取り、
両対数
プロット
p = av−b
○各表情速度の出現頻度の確率密度分布
・全ての表情モードに対して、べき性を示すことを確認。
lnp = − bln|v|
+lna
Fig.12 各表情速度の出現頻度確率密度分布(Andrew) Fig.13 |dH/dt|の出現頻度確率密度分布(両対数プロット

12. 12
絶対値を取り、
片対数プロット
○表情速度の出現頻度の確率密度分布 H = Happiness
マイナス領域 プラス領域
・各表情速度に対し、出現頻度の確率密度しプロット
・+/-領域で対称な構造をとるが、表情速度は極端に0付近に集中している訳ではなく、
・絶対値は片対数プロットで線形性を示すため、指数分布である。
4-1. ②アンドロイドの確率密度分布 -Result-
無表情 or 他の表情 → 笑顔
笑顔→無表情 or 他の表情
lnp = − b|v| + lna
Fig.14 dH/dtの出現頻度確率密度分布

13. Fig.16 |dH/dt|の出現頻度確率密度分布(両対数プロット)
(参考)4-1. ②アンドロイドの確率密度分布 -Result-
13
両対数
プロット
片対数
プロット
○各表情速度の動画中の頻度分布
※人間と比較して極端に0に集中しない。
lnp = − b|v|
+lna
Fig.15 各表情速度の出現頻度確率密度分布(Andrew)
lnp = − bln|v|
+lna

14. 4-2. フィッティングによるパラメータ推定 -Result- 1 1 1
14
○最小二乗法によるフィッティング (scipy.optimize使用)
Fig. 17 Andrew |dH/dt| @ Andrew-Keisha
p = a|vH |−b
Fitting Curve
Raw Data
p = ae−b|vH|
Fig. 18 アンドロイド |dH/dt|
フィッティング関数 a b R2値
Andrew |dH/dt|
@Andrew-Keisha
べき分布 0.24 1.9 0.987
指数分布 4.0 2.9 0.965
アンドロイド |dH/dt|
べき分布 0.13 0.58 0.740
指数分布 0.13 0.58 0.980
・最小二乗法によりべき分布/指数分布にフィッティング。
・Andrewはべき分布に、アンドロイドは指数分布の方がR2値が大きい。
p = a|vH |−b
p = ae−b|vH|
vH =
dH
dt
= 笑顔の
表情速度
Table 1 Andrew / アンドロイドのフィッティングパラメータとR2値

15. 4-2. [追加取得]パラメータの時系列変化 -Result-
15
○シーン別 各表情の平均値 vs a vs 1/b
Time[s] Contents
3~46 KeishaがAndrewにする嫌な事は？
47~66 Andrewの真面目な回答
67~140 Keishaの好きなところ/頑張って欲しいところ
141~169 poopの話（Keishaがシリアスになる)
170~201 結婚で一番怖いことは？
202~271 Keishaに言う事で躊躇っている事は？
272~338 Keishaの結婚した理由は
・目的：シーン別にパラメータをプロットする事で、各パラメータの挙動の違いを比較する。
ref.として表情解析で、各社が用いる指標である測定時間中の平均値を使用。
・サンプル：Andrew @Andrew-Keisha
・評価項目：各表情の平均値1) / パラメータ2) / パラメータ2)
a 1/b
Table 3 内容によるシーン分割
Ratio A(%) C(%) D(%) F(%) H(%) N(%) Sa(%) Su(%)
Andrew 0.8 2 0.6 0.2 19 74 1 3
Table 2 動画中の各表情の割合
Fig. 19 Andrewの各表情の値（0~1）
1) 平均は、 で算出(iは動画のフレーム)。
2) a.1/bは、 でフィッティングし算出。
p = av−b
(Ave.) =
∑
i
Xti
/
∑
i

16. 4-2. パラメータの時系列変化 -Result-
16
○シーン別 表情の平均 vs a vs 1/b Time[s] Contents
3 KeishaがAndrewにする嫌な事は？
46 Andrewの真面目な回答
66 Keishaの好きなところ/頑張って欲しいところ
140 poopの話（Keishaがシリアスになる)
169 結婚で一番怖いことは？
201 Keishaに言う事で躊躇っている事は？
271 Keishaの結婚した理由は
Fig. 20 ref.各表情の平均値の時系列変化 Fig. 21 パラメータ の時系列変化
a Fig. 22 パラメータ の時系列変化
1/b
・平均値, a, 1/bで挙動が異なる(00:46-01:06, 02:19-02:48)。
・確率密度分布解析は、平均値解析とは、異なる特徴量抽出が可能。
(Ave.) =
∑
i
Xti
/
∑
i
平均： (iは動画フレーム)
a, 1/b： からフィッティング
p = av−b
Table 3 内容によるシーン分割

17. 5. 結論
17
• MicrosoftのFace APIを使い、8表情の時系列変化を測定し、表情速度
の出現頻度の確率密度分布を算出した。その結果、
• ①表情速度の出現頻度の確率密度分布は、アンドロイドが指数分布
になるのに対し、人間はべき分布であることを確認した。
• ②べき分布のパラメータの時系列変化が表情分析の新たな手法とな
ることを示唆。
• 今後、a,1/bの挙動が何に起因するかを検証予定。

18. (参考) アンドロイドの表情時系列変化
18
1)「Keisha and Andrew: Why Did You Marry Me? | Glamour」https://www.youtube.com/watch?v=IT8Z6JIusdw
2)「美人すぎるアンドロイド ∼国際ロボット展2016∼[Japanese beautiful android]」https://www.youtube.com/watch?v=xaDOngX5ygk
Fig. 23 ref.Andrew@Andrew-Keishaの表情の時系列変化1) Fig. 24 アンドロイドの表情の時系列変化2)
・アンドロイドはHappinessとSurpriseが多く、
・0.2~0.9の間に集中している。

19. (参考) 各社の表情解析手法
19
[7] intage社 HP「表情解析を使った広告クリエイティブ評価」」
[8] 株式会社インテージ The JMRA Annual Conference 2013 資料より
[9] CAC社HPより https://www.cac.co.jp/trends/trend06.html
・何れも、表情速度についての解析はなし
⃝「表情解析を使った広告クリエイティブ評価」intage社[7]
⃝「心sensor」CAC社[9]
・TVCM評価(2013)
Noldus社のフェイスリーダーを用いて、CM観賞者のアイト
ラッキング/各表情値を分析。観賞後のインタビューの解釈
の正確性向上のため実施[8]。
Affedex社の表情認識ソフトを用いて、基本7表情と、
Valence(肯定/否定感情)、Engagement(表情の豊かさや活
性度)を出力。解析は、パイチャート、感情ヒストグラム
(出現頻度)、その他統計量(平均/中央値/標準偏差)等