2017年東海支部連合大会

1. 01
幸浦 弘昂，白松 俊
名古屋工業大学
韻律情報による議論の場
の空気推定手法の検討

2. 本研究の背景と目的
02
自律的なファシリテータ機構を実現したい
ファシリテータは参加者のノンバーバルな振る舞
いやパラ言語から場の空気を推定している
本研究では特に参加者発言の音声の韻律情報を用いて
場の空気を読むような機構を実現したい
本研究室では議論のファシリテーション（交通整理）に着目

3. 先行研究 １
03
 対話音声における韻律と声質の特徴を利用
したパラ言語情報の抽出の検討 [石井 05]
韻律パラメータとしてF0move(基本周波数の変化量)と発話
の持続時間を用いる
F0moveと発話長という2次元平面上での発話行為の分布か
ら分類を試みている
肯定・同意・相槌の際は「短下降型」，聞き返しは「短上昇
調」，疑いは「動きの幅が広い短上昇調」，考え中・戸惑い
は「平坦，長下降調」，否定的または曖昧な表現は「長上昇
調，長平坦調」となる
[石井05]石井他：対話音声における韻律と声質の特徴を利用したパラ言語情報の抽出の検討. 第22
回AIチャレンジ研究会, 2005.

4. 先行研究 ２
04
 音声からの感情認識を目的とする特徴量の
検討 [平野 07]
 pitch，powerの値から平均値・最大値・最小値
を求め，感情による変化傾向を分析することで感
情を分類
[平野 07] 平野：音声からの感情認識を目的とする特徴量の検討. 岩手県立大学 感
性情報学講座卒業論文, 2007.

5. 本研究のアプローチ
議論の様子を8chマイクアレイで録音
• マイクアレイにはシステムインフロンティア社のTAMAGO-
03を用いる
• 京大とHRIによるHARKで音源分離を行い，被験者の特徴
的な発話行為が現れていそうな箇所を抽出
抽出した箇所についてF0推定を行い，F0の発話時間
に対する推移をみることで発話行為の識別を行う
• F0推定にはGoogleのGonzalvoが公開するREAPERを使用
• 先行研究[石井05]を参考にした
ハイラブル社のDAS (Discussion Assessment
Service)を用いて被験者の発話頻度，受け答え頻度
を推定

6. システム概要
録音と音源分離
（TAMAGO-03,
HARK）
場の空気推定
発話頻度，受け答え
頻度の推定
（DAS）
分離音に対するF0
推定
(REAPER)

7. 07
予備実験の設定
 図のように，4名で机を囲うように座り
真ん中に8ch録音マイクを設置
 既存研究のゲーム（Misrepresentation Game）
を参考にして、4名で騙し合いゲームを行う
 参加者が、得点をつけた4つの物に関する選好を開示
し、どれを貰うかを議論・交渉する
 参加者が開示した選好に嘘をおりまぜ、より多く得点を
得ようとし、嘘を暴くと得点
 疑い等，場の空気に影響する発話が観察で
きると期待

8. 08
予備実験での発話タイプの割合
30
20
25
10
15
肯定・同意・相槌 聞き返し 考え中・戸惑い
否定・曖昧 疑い
• 約2分ほどの会話から28個の発言を聞いて確認し，発話
タイプを調査した結果，図のような割合になった
• ネガティブな発言と，そうでない発言が同程度現れた
• ネガティブでない: 肯定・同意・相槌，聞き返し
• ネガティブ: 否定・曖昧，疑い，考え中・戸惑い

9. 09
実際のF0グラフ
図２図１
図1
0,4～1,1，1,6～2,2の箇所に平坦調（考え中・戸惑い）
2,3～2,6に短下降調（肯定・同意・相槌）
2.8のところで動きの幅が広い短上昇調（疑い）
図2
 1～1,5の箇所に長下降調(考え中・戸惑い)
 1,8～2の箇所に短下降調(肯定・同意・相槌)
 3.1～3.4の箇所に動きの幅が広い短上昇調(疑い)
「変えたよね？」
「うん」
「何故変え
た？」
「えーと」
「そうだな」
「うーんと」
「変えた
じゃん」

10. 考察：発話行為の自動検出の際に
問題になりうること
10
F0の発話時間に対する遷移に着目して検出を行う
ので，状態遷移をモデル化する必要あり
ノイズが混じってしまうことで，自動化した際に他の
発話行為と誤認識してしまう危険性がある
笑い声なども短上昇調のようなグラフになってしまう
ので誤検出しないような工夫が必要
今後，他の特徴量も検討

11. 11
DASによるターンテイクの分析図
音源分離した後にDASで分析すると上のような図が得られる
• 左の図：誰の後に誰が話したか，
• 右の図：発話頻度
を表しており，場の空気と関係がある可能性がある

12. まとめと今後の展望
12
 まとめ
 議論中の発言を音源分離し，F0推定により得られたグラフから
発話タイプを判定できるか，目視により調査した
 議論の予備実験を行い，議論における発話タイプの割合を調査
 発話タイプ自動検出の際に問題になりうることの検討を行った
 今後の展望
 自動検出の際に問題になりうることに考慮し，発話行為を自動で識別でき
るようなものを構成する
 今後は，円滑な議論／紛糾した議論といった「場の空気」が観察できるよ
うな実験設定を工夫する必要がある
 F0推定によって得られた発話タイプの割合，DASによる発話，受け答え
頻度の割合から場の空気を推定するような機構の実現
 「場の空気」をまだ定義できていないので、どう定義すべきか検討する
 脳波や視線による推定も検討しており[北川17, 熊崎17]今後これらの研究
と統合したい
[幸浦 17] 幸浦弘昂、白松俊 韻律情報による議論の場の空気推定手法の検討 H29東海支部連合大会
[熊崎 17] 熊崎滉大,白松俊,一ノ瀬修吾 視線と表情を用いた議論の場の空気の推定手法の検討 H29東海支部連合大
会