ロボットアームと音声コミュニケーションしてばば抜きをします。 出典： 山梨大学・工学部・情報メカトロニクス工学科 関口・西崎研究室 http://www.alps-lab.org/ 筑波大学・システム情報系・知能機能工学域 自然言語処理研究室(宇津呂研究室) http://nlp.iit.tsukuba.ac.jp ⇒ 研究紹介 ⇒ 1．音声言語対話を介した人間と機械のコミュニケーション技術

1. 複数人と対話可能な
音声対話ロボットの構築
1 関口・西崎研究室
T05KF012 上平拓弥

2. ロボットの実例
ロボット名：キクラゲ
2

3. インタフェース：
実際のカードを使用してゲームが可能
自作したカードリーダ
既製品のアーム
(アームの操作は付属の関数を使用)
3

4. ロボットの構成
PC（Linux）×2
PC（Windows）×1
AGC(Automatic Gain Control)回路×2
ロボットアーム×1
カードリーダ×1
マイク×2
以上で構成されている
4

5. 2012年1月19日(木)訪問
ロボット名：キクラゲ
5

6. 「相手・カード指名式ばば抜き」のルール
きくらげ、カエル
持ってる？
ユーザA
相手・カードの組を
指名して、当てた人も、
そのカードを場へ出す。
うん、持ってる。
（アームが「カエル」を
つかんで場へ出す。）
ユーザB
6

7. 「相手・カード指名式ばば抜き」のルール
ユーザA
ユーザB
7

8. ロボットの内部処理概要
音 キーワード スピーカ
声 抽出
モジュール 音声再生
モジュール
音声認識
音声認識
エンジン
エンジン
対話管理 アーム操作
モジュール
モジュール
ロボット
カード管理 アーム
モジュール 8

9. ロボットアームを実装する意味は
対話は，常に音声だけで行うとは限らない
実物かディスプレイかで心象が変わる
対話する時間も変化する
9

10. 複数話者への対応1/2
ユーザごとに対話を管理 （分散型対話管理手法）
話者識別：各マイクへの入力の大きさで識別
重複発話：認識エンジンを話者毎に割り当てる
認識エンジン
① 対話処理
発話履歴Ａ
ＭＩＣ
ユーザA
スピーカ 応答 履歴 システム
制御 履歴
アーム 管理
発話履歴Ｂ
ＭＩＣ 認識エンジン 対話処理
ユーザB ②
10

11. 複数話者への対応2/2
ユーザ間の対話を含めた対話処理
手札の予測が可能で戦略性能が向上
ゲームの進行を理解できる
太郎、タコのカードを下さい タコのカードは
花 花子か
子
次は太郎
太 の番だ
郎
ごめん、ないです
11

12. 実際にゲームを行った結果1/2
ロボットの動作の集計
６人のユーザによって
ゲームを６回行い動作を分類した
誤りが集中した
1ゲームは
途中で中断
誤動作：１ゲームあたり平均2回
12