２０１９年１月２６日の音声研究会のスライドです

1. 人間と機械と
音のコミュニケーション
伊藤 彰則
東北大学大学院工学研究科
通信工学専攻
1

2. 自己紹介
伊藤彰則（いとうあきのり）
1963年生まれ
東北生まれ東北育ち
人工知能を志して夢破
れる
気を取り直して音声認
識の研究に従事
Twitter: @akinori_ito 2014年 万里の長城入口にて
2

3. 今までの仕事をざっくり言うと
3

4. 研究領域
音声自動処理
• 音声認識・合成
• 音声対話
機械とのコミュニケーション
外国語教育システム
• 発音評価
• 対話型CALL
コミュニケーション能力開発
付加価値通信
• 音声・オーディオ符号化
• 電子透かし応用
コミュニケーション高度化
音楽情報処理
• 歌声評価
• その他
音楽コミュニケーション
4
「人間と機械」
「音のコミュニケーション」

5. 本日のおはなし
４つの領域での「人間と機械」「音のコ
ミュニケーション」について
これまでやってきたこと（ちょっとだけ）
面白そうだと思っていること
などについて話します
5

6. 音声自動処理
6

7. 音声自動処理
これまでやったことなど
日本語の構造のCFGによるモデル化と
言語モデルへの適用(1986-1993)
統計的言語モデル(1993-2001)
HMMの分布をhack (1995-2008)
Webから言語モデル(2002-2010)
マルチモーダル情報処理(2008-)
タスクベース対話(2002-2010)
HMM/DNN音声合成(2012-)
非タスク指向対話(2010-)
7

8. 結局何がウケたのか
引用数が多い論文より
A. Ito, X. Wang, M. Suzuki & S. Makino, “Smile and
Laughter Recognition using Speech Processing and
Face Recognition from Conversation Video”, Proc.
Cyberworld, 2008
顔の映像と音声から「笑い」を検出する
顔は構造ベース、音声はGMMベース
合わせ方は単純にANDかOR
笑いの検出に画像と音声を使うのが世界初
だった（らしい）
8

9. 結局何がウケたのか
引用数が多い論文より
A. Ito, T. Kanayama, M. Suzuki & S. Makino,
“Internal noise suppression for speech recognition
by small robots,” Proc. Interspeech-2005
AIBOを使った音声認識
ロボットの出す機械音（エゴノイズ）を推定して
雑音除去する
ロボットの制御情報からエゴノイズをNNで推定
していたところが珍しかった（らしい）
拡張版がHI学会で論文になっているが全く引
用されない
9

10. 結局何がウケたのか
結局周辺的なテーマがウケた
世界初、珍しさ、面白さ
後追いで「ちょっと改善」の論文は刺身のツ
マ程度の引用がせいぜいだった
その分野が後から盛り上がると引用が伸
びる
新しいテーマはその後伸びるかわからない
のでギャンブル
10

11. 最近考えていること
音声認識・合成・対話の先は。
認識・合成だけならAPI使えば十分
方式の改善よりもデータが物を言うので
大学での研究は辛い
音声対話する機械はユーザにとって何
なのか
人間はインタラクションの相手に対して人
間と同じ反応をしがち(Reeves&Nass96)
11

12. 相手を「理解」する
誰か（同僚、友達、恋人、家族など）のことを
「理解」したと言えるのはどんな時か
「発話内容が理解できる」こととは違う
発言の裏にある考え方や感情がわかる
状況や仕草から次の行動が予測できる
現在の人間と機械は「ディスコミュニケーショ
ン」状態。
ユーザを「理解する」、ユーザから「理解され
る」機械を作るには。
12

13. メタ認知とメタコミュニケーション
メタ認知(metacognition)
自分が何をしているか、何を知っている
か、何を感じているかがわかる
具体的な内容を思い出す前に「知っている」ことがわ
かる
タスクをやる前に無理であることが分かる
機械で言えば
相手の発話が聞き取れなかったことが分かる
相手の振った話題が理解できないことが分かる
13

14. メタ認知とメタコミュニケーション
メタコミュニケーション
(metacommunication)
「コミュニケーションに関する
コミュニケーション」
コミュニケーションチャネル，送受信者の
状態など周辺情報を伝える
14

15. メタ認知とメタコミュニケーション
15
okodaiin edy
何を言ってる
んだろう？
理解できないこ
とが分かる
（メタ認知）
理解されていないことが
伝わる
（メタコミュニケーション）

16. メタコミュニケーションの重要性
ロボットに何か言ってみよう
えーと，こっち来い
16

17. メタコミュニケーションの重要性
私の声が聞こえているのか？
言ったことが理解できたのか？
そもそもこいつ動けるの？
・・・
17

18. 人間↔(人間|機械)間の
メタコミュニケーション
背の高さ
外見
話しかけやすさ
対話の開始
話を聞いている
か
ターンテイキング
雑音環境対応
発話相手の識別
理解の表出
聞き返し・確認
興味の表出
盛り上がり
自信・信頼性
18

19. こういうことができると
いいと思う
ユーザの「理解」に関するメタ認知状態
の認識
こちらが話して、相手が聞いて、理解している
こちらが話して、相手が聞いて、理解していない
こちらが話して、相手が聞いていない
システムの「理解」の自然な表出
19

20. 外国語教育システム
20

21. 外国語学習システム
Computer Assisted Language
Learning (CALL)
コンピュータを利用した語学学習
80年代後半～90年代前半
スペル学習、ドリルなど
90年代～2000年代前半
マルチメディア教材提示
2000年代後半～
知的CALLシステム
21

22. 外国語教育システム
これまでやったことなど
日本人英語の発音誤り検出(2002-2009)
外国人による日本語の発音評価(2002-2005)
日本人英語音声からの文法誤り検出(2006-)
日本人英語の韻律自動評価(2002-)
日本人英語の発話タイミング(2012-2014)
「やさしい日本語」作成支援システム(2010-
2017)
「やさしい日本語」音声の評価(2013-2017)
22

23. 従来のCALLシステムに
足りないもの
「パフォーマンス」と「コミュニケーション」
「聞く」→「一瞬考える」→「話す」
リアルタイムな処理が必要
⇒対戦スポーツやキャッチボールに類似
現在のCALLシステムは「バッティングセン
ター」
「ロボコーチ」や 「キャッチボールマシン」は作
れるか？

24. 従来のCALLシステムに
足りないもの
「パフォーマンス」と「コミュニケーション」
これをCALLシステムで実現するには？
学習者のパフォーマンスを評価する機能
学習者と対話する機能
学習者を飽きさせない（楽しさ）：
作り込み

25. こんな感じで
ある単元について
会話例、文型の提示
単語の発音練習
シャドウイング
システムとの会話練習
25

26. 音声対話型CALLシステム
機械との会話による英語学習
What would
you like to
drink?
Coffee,
please
26

27. 音声対話型CALLシステム
究極的には人間の教師による教育と
同等のことができる（？）
できてほしいこと：
発音，韻律のチェック
文法・語彙のチェック
繰り返し練習
27

28. 音声対話型CALLの課題
発音評価に関して
韻律の評価を高精度化
文法・語彙評価に関して
発話者の意図通りに認識する
会話練習に関して
適切なインタラクションへの誘導
28

29. 研究例
英会話におけるインタラクション
対人間の場合と同じようなタイミングで
答えてほしい
人間の場合は微妙な表情などで間合
いを測っている（？）
CGキャラクタやロボットでそれと同じ
制御をするのは簡単ではない
29

30. 英会話におけるインタラクション
発話促進のための人工的な表現
（タイムプレッシャー表現）の導入
[Suzuki+ 14]
30
だんだん
赤くなる

31. 対話例
31

32. 考えていることなど
言語学習以外の教育用途
ビデオ学習教材は多いが、教師との対面
による学習と同程度の教育効果があるか
疑わしい
例えば
システムがビデオを流しつつ「学習者が画面
を見ているか」を監視する
学習者の注意が外れた時にエージェントが
出てきて学習者と対話する
32

33. やさしい日本語
防災・減災用途
弘前大学の佐藤和之が1995年に提唱
阪神大震災の際に避難所の掲示・避難指示
文などが外国人に伝わらず、被害が拡大し
たことを考慮
在日の日本語非母語話者にとってわ
かりやすい日本語
日本語検定の旧３級・４級語彙と文法の
みを使う
33

34. やさしい日本語
普通の日本語(NJ) やさしい日本語(EJ)
引き続き厳重に注意してくだ
さい
気をつけてください
ガス臭いようなところがありま
したらマッチを擦ったり、
照明のスイッチをつけたり、消
したり、ということはしないでく
ださい。
火を 使わないでください
火事に 気をつけてください
弘前市は断水や停電となり、
市民の生活は麻痺しています
弘前市は 水と 電気が 使
えません
34

35. やさしい日本語作成支援システ
ム（やんしす）
入力文のどこがや
さしくないか指摘
指摘に沿って文を
調整することで難
易度を下げる
35

36. 付加価値通信
36

37. 37
「補助情報」とは
主となる情報を補助するもの
なくてもよいが、あれば主情報を補完する
必要な情報だがメインじゃない
主情報とは関係ない
Side information vs.
Auxiliary information
（副情報と外部情報）
どれか

38. 38
「高度」な信号処理
失われてしまった情報の推定
→情報の価値を高める
音声強調、残響除去
音源分離
パケットロス隠蔽
)()()()(  XNXH 
 11110   iiiii xxxxx
)()()( txtytx 
何らかの制約が必要
•信号の値の分布が既知
•信号の「汚し方」の性質が既知
•周囲の信号と相関がある

39. 39
情報はどうやって失われるのか
通信路モデル
送信者 劣化 受信者
推定
受信者途中で情報が失われることを
もし送信者が知っていたら？

40. 40
情報が失われると知っていれば・・・
通信路モデル
送信者 劣化 受信者
受信者
補助情報
による推定
推定のためのヒント（補助情報）

41. 41
付加価値通信
これまでやったことなど
音声・オーディオのパケットロス隠蔽
(2008-2014)
失われた信号の復元
混合音楽信号の操作(2012-2014)
混ざった信号の一部を推定
電話音声の帯域拡張(2008-2010)
失われた高域の復元
機械が発声した音声の抑圧(2018-)
人間の声だけを聞く

42. 42
補助情報による混合音楽信号操作
最初から操作されることを前提に混
合信号を作ったら？
２次創作前提，カラオケトラックを別途
用意しない
リアルタイムの信号操作
ボーカル信号を対象とする

43. 43
基本的な考え方
伴奏信号
受信部
配信部 ターゲット信号
操作後の信号
混合後の信号
スペクトル
操作後の
スペクトル
付加情報
フィルタ
IFFT
FFT 生成
抽出ミックス
掛け合わせ

44. 44
44
基本周波数（F0）
高調波成分
F0を用いた付加情報
基本周波数（F0)の
整数倍の間隔で
高調波成分が
現われる特徴を利用
F0を付加情報として送り
高調波成分を強調する

45. 考えていることなど
人間ー機械インタラクションに付加情報が使
えないか？
機械からの音声にマーカー信号を埋めて他の
機械が誤認識しないようにする [Ito2018]
発話が特定の人のものであることを（話者認識
によらず）識別させられないか？
発話が機械向けであることを（マジックワードを
使わず）識別させられないか？
45

46. 音楽情報処理
46

47. 音楽情報処理
これまでやったことなど
ハミング・歌声検索(2002-2010)
歌声からの熱唱度推定(2008-2014)
作詞補助システム(2010-2012)
デス声の分析(2010-2012)
歌い間違いの検出(2015-2017)
テンポ変換(2013-2017)
GANによる自動作曲(2017-2018)
47

48. 歌声分析の応用の広がり
伝える楽しむ
素人的
プロ的
歌声・
ハミング検索
カラオケ採点
歌唱練習補助
歌声加工
ピッチ補正
モーフィング
歌手分類
MIR応用
48

49. 研究紹介：熱唱度
カラオケの採点用途
歌唱のうまさではなく「一生懸命さ」
「長期間努力して獲得したスキル」ではなく
「その場での努力」を評価（刹那的）
科学的・技術的問題点
そもそも「熱唱」の知覚に一貫性があるのか？
あったとして、それが自動的に測れるのか？
49

50. 熱唱度は知覚できるか
データセット
「熱唱」「普通」の指示で素人が歌った歌唱音声
歌唱者34名 「いとしのエリー」
2セット、歌い方2段階、4フレーズ
評価者30名 0,1,2 の3段階（大きいほど熱唱）
分析
同一フレーズに対する「自分の評価値」と「自分
以外の評価値平均」との相関の分布を見る
50

51. 熱唱度は知覚できるか
多くの評価者が0.7～0.9に分布する
評価者間の「熱唱度」の知覚傾向は似て
いる
51

52. 熱唱度の自動評価
3つの特徴量を使用
A特性パワー、ずり下げ、ビブラート
人間による評価値との相関 0.66
52

53. 考えていることなど
「カラオケ採点」は自動機械モデル
テストの採点などと同じ
客観的な基準に基づいて序列をつけるための採点
機械とのコミュニケーションとしてのカラオケ採点
お客さんを褒めて場を盛り上げるために採点する
たとえば、カラオケボックスの中の人たちにエージェント
が混ざって採点する
ヒトカラなどでは「機械に聴いてもらうために歌う」人が
出てくるかも
53

54. 人間による機械モデル
54

55. むすび
人間と機械との音によるコミュニケーション
について
最終的には人間と機械が楽しくコミュニケー
ションできる社会がくるとよい
しかし
そういうのは望ましくない、という意見もある
[Bringsjord&Clark2011]
「人間に対して感情をシミュレートするロボットは
作るべきでない」
どう考えますか？
55