Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
おしゃべりゆかり
- 外部ツールによるMMDA制御 -
2016/10/1
告白P(kouji)
自己紹介
名前:kouji(告白P)
何してる人?:本業はSE。主にニコニコ動画で動画あげてます。
ノベル、作詞、MMD、技術部 etc.(ボカロ、ボイロ、UTAU等)
MMDAgentは結月ゆかり×中の人トークショー、ダメ男製造機など
MMD...
おしゃべりゆかり
➢等身大の「結月ゆかり」と会話できるシステム
➢MMDAgent+ボイスロイド+自作ソフトの組み合わせ
開発のきっかけ
➢「結月ゆかりと石黒さん(中の人)がトークしたい!」という要望
➢どうやる?VJ形式で事前収録の映像流す?
➢どうせならリアルタイムでやりたいなあ…
➢そうだ、MMDAgentがあった!
➢さっそく検証開始!
突然ですが
MMDAgentって…
使いにくいですよね?
MMDAgentあるある
➢状態遷移に失敗して無反応になる(シナリオの書き方が悪い)
➢今どの状態にあるか分からずログと格闘
➢そもそもシナリオが書きにくくて泣きそう
→全部シナリオがらみ
すばらしいソフトなのにここが足を引っ張っている!
検証結果
➢音声認識の問題
○ 会場がどれだけざわついているか予想不可能
➢どうやって順番通りトークを進めるか?
○ 誤認識して違う会話返したら目も当てられない
➢では、キーワード登録しまくって、自由に会話してもらう?
○ まともな会話は到底不...
プラグインが世界を変えた
➢どうすればいいんだ…
➢CUBE370さんのソケット通信プラグインって何だろう?
➢会話文渡したりできるっぽい
➢あれ、じゃあもしかして外部からコマンド発行できる?
➢できた!
柔軟な作りにしていただいた
皆様に感謝...
おしゃべりゆかりのポイント
➢ 自動応答のMMDAgentを、あえて手動で動かす
➢ 外部ツールの自動化(手動からまた自動化)
➢ 外部ツールによる制御
手動で動かすことで、人間の代わりができるようになった
特徴
➢ リアルタイムで自由に動かす
➢ トークもモーションも自由自在!
➢ トークショー、司会
➢ 外部機能との連携が容易に(雑談API)
ダンス等もできるはずですが、そこはあまりさせていません。
(映像を流せば済む、演出に限界がある)
インターフェース
➢ ボタンを押すだけで簡単動作
➢ 会話文は打ち込んでもOK
➢ しゃべらせたい場合は
台詞入力するだけ
○ モーション自動生成
機能搭載!
モーションレイヤー
キャラクターの向き・目
線を制御。
右、左、正面の3つ。
表情モーフを再生する
レイヤー
一度きりのモーションを
再生するレイヤー。
短時間で完了するモーショ
ン
基本となるモーションを
再生するレイヤー
現在公開中!
あまり知られていない気がするので、これを機にどんどん使ってください。
プロジェクターと組み合わせての等身大が熱いです。
展示で会話したり動かしたりもできますので、是非遊びに来てください。
ご清聴ありがとうございました!
Upcoming SlideShare
Loading in …5
×

おしゃべりゆかり 外部ツールによるMMDAgent操作

1,092 views

Published on

2016/10/01に名工大で開催されたMMDAgentDayで発表した展示内容説明資料です。

http://udialogue.org/events/MMDAgentDAY/

Published in: Engineering
  • Be the first to comment

おしゃべりゆかり 外部ツールによるMMDAgent操作

  1. 1. おしゃべりゆかり - 外部ツールによるMMDA制御 - 2016/10/1 告白P(kouji)
  2. 2. 自己紹介 名前:kouji(告白P) 何してる人?:本業はSE。主にニコニコ動画で動画あげてます。 ノベル、作詞、MMD、技術部 etc.(ボカロ、ボイロ、UTAU等) MMDAgentは結月ゆかり×中の人トークショー、ダメ男製造機など MMDAgentとの出会い:2010年 CEATECに見に行きました。
  3. 3. おしゃべりゆかり ➢等身大の「結月ゆかり」と会話できるシステム ➢MMDAgent+ボイスロイド+自作ソフトの組み合わせ
  4. 4. 開発のきっかけ ➢「結月ゆかりと石黒さん(中の人)がトークしたい!」という要望 ➢どうやる?VJ形式で事前収録の映像流す? ➢どうせならリアルタイムでやりたいなあ… ➢そうだ、MMDAgentがあった! ➢さっそく検証開始!
  5. 5. 突然ですが
  6. 6. MMDAgentって…
  7. 7. 使いにくいですよね?
  8. 8. MMDAgentあるある ➢状態遷移に失敗して無反応になる(シナリオの書き方が悪い) ➢今どの状態にあるか分からずログと格闘 ➢そもそもシナリオが書きにくくて泣きそう →全部シナリオがらみ すばらしいソフトなのにここが足を引っ張っている!
  9. 9. 検証結果 ➢音声認識の問題 ○ 会場がどれだけざわついているか予想不可能 ➢どうやって順番通りトークを進めるか? ○ 誤認識して違う会話返したら目も当てられない ➢では、キーワード登録しまくって、自由に会話してもらう? ○ まともな会話は到底不可能 イベントまで、あと3週間
  10. 10. プラグインが世界を変えた ➢どうすればいいんだ… ➢CUBE370さんのソケット通信プラグインって何だろう? ➢会話文渡したりできるっぽい ➢あれ、じゃあもしかして外部からコマンド発行できる? ➢できた! 柔軟な作りにしていただいた 皆様に感謝<(_ _)>
  11. 11. おしゃべりゆかりのポイント ➢ 自動応答のMMDAgentを、あえて手動で動かす ➢ 外部ツールの自動化(手動からまた自動化) ➢ 外部ツールによる制御 手動で動かすことで、人間の代わりができるようになった
  12. 12. 特徴 ➢ リアルタイムで自由に動かす ➢ トークもモーションも自由自在! ➢ トークショー、司会 ➢ 外部機能との連携が容易に(雑談API) ダンス等もできるはずですが、そこはあまりさせていません。 (映像を流せば済む、演出に限界がある)
  13. 13. インターフェース ➢ ボタンを押すだけで簡単動作 ➢ 会話文は打ち込んでもOK ➢ しゃべらせたい場合は 台詞入力するだけ ○ モーション自動生成 機能搭載!
  14. 14. モーションレイヤー キャラクターの向き・目 線を制御。 右、左、正面の3つ。 表情モーフを再生する レイヤー 一度きりのモーションを 再生するレイヤー。 短時間で完了するモーショ ン 基本となるモーションを 再生するレイヤー
  15. 15. 現在公開中! あまり知られていない気がするので、これを機にどんどん使ってください。 プロジェクターと組み合わせての等身大が熱いです。 展示で会話したり動かしたりもできますので、是非遊びに来てください。 ご清聴ありがとうございました!

×