Recommended
More Related Content
What's hot
Viewers also liked
Similar to T2V＆pepper
T2V＆pepper
- 1. 1 2016年3月1日 (C) ProgMind Inc. 2016 All Rights Reserved. Pepper＆ゆるキャラ案内 1 株式会社プログマインド 代表取締役 濁川武郷 http://www.progmind.jp
- 6. コンセプト 「リアル」と「バーチャル」 くまモン！ 食べ過ぎだよ！ Pepperとバーチャル「ゆるキャラ」の共演により、店舗などのリアルでの利用シーンが拡張が可能！ ● いつでも「ゆるキャラ」を活用 ● どこからでも「ゆるキャラ」を利用 ● 同時に何箇所でも「ゆるキャラ」を共用可能 ● 喋らない「ゆるキャラ」もPepperが補完可能 Pepperが補完することで、ゆるキャラが来店するこ となく、店舗内においてライブ感ある地域発信のイベ ントを実施することが可能になる Pepperと ゆるキャラが 掛け合い
- 7. 運用上の要求と解決策 - T２V技術の活用 - 常時その場所にいるPepperにとって、一番の 課題は「飽きられる」ことです。 解決策として ①台本の更新が容易で、運用の中で変更が可能 ②インターネットなどの動的情報を反映したライブを実現 T2Vの利点① 台本を書いて、CMSに登録するだけで、Pepperと ゆるキャラが、声と動きで掛け合いを始めます！ T2Vの利点② プログラマブルなスクリプトで台本を動的に変更し、 最新の情報を反映した掛け合いができます。 みたらし：こんにちは、ペッパー ペッパー：どうも！みたらし君！ ペッパー：（おじぎ） みたらし：こちらこそ（同時） みたらし：（おじぎ） （みたらしをアップショット） みたらし：今日は重大発表があるんだ！ 今日の 天気はどう？ 快晴だよ！ 遊びにおいで〜 T2V とは？ Text-To-Vision: テキス トを音声付きCGアニメー ションに自動的に変換する 技術。T2Vの技術的ベース には、NHK放送技術研究 所が1996年に提案したテ レビ番組台本記述言語 TVML (TV program Making Language) を使 用しています。端的に言え ば、動画コンテンツを制作 するための、様々な映像表 現を実現するためのコアプ ログラムと言えます。動画 を作成するた目に必要な。 映像、画像、音楽、脚本、 演出、字幕、エフェクト等 の全てを、TVMLエンジン で表現できるように実装さ れています。 参考URL おひろめT2V http://ohirome.t2v.bz/
- 8. 実用事例 - 東京モノレールPepper - 東京モノレール様のPR活動として、９月に 開催されたツーリズムEXPOにて紹介。多く の人々にPepperとゆるキャラによる新しい 地域創生のための活用を訴求することがで きました。
- 9. デモ 9
- 10. 予備知識 • 要素技術 –T2V/TVML ： 端末側キャラクター制御 –NAO qi API : Pepper側制御 –サーバーアプリ： 台本変換、通信 10
- 11. T2Vとは？ Text-To-Vision: テキストを音声付きCGアニメーションに 自動的に変換する技術 おはようございます （アップショット） （おじぎ） またまたいつもと同じ朝がやっ てきました そんなあなたとあの街この街、 街角テレビの時間です ・・・・ テキスト（台本） CGアニメーション T2V T2Vの技術的ベースにはTVML (TV program Making Language) ※を使用 ※ NHK放送技術研究所が1996年に提案したテレビ番組台本記述言語 テレビ番組制作 のノウハウ
- 12. T2Vの仕組み FIL: Flexible Interpretation Loader camera: closeup ( target=Mary ) character: bow ( name=Mary ) character: talk ( name=Mary , text=“おはようございます”) character: talk ( name=Mary , text=“またまたいつもよ同 じ朝がやってきました”) wait(time=1.5) …… おはようございます （アップショット） （おじぎ） またまたいつもと同じ朝 がやってきました そんなあなたとあの街こ の街、街角テレビの時間 です ・・・・ FIL（演出ジェネレータ） TVMLエンジン テキスト（台本） CGアニメーションTVML （スクリプト）
- 13. T2Vの技術的ベース - TVML TVML ( TV program Making Language ) →テレビ番組を記述するスクリプト言語 →TVMLスクリプトを読み取って、CGキャラクタや音声合成で リアルタイムでCGアニメーションを出力するエンジン TVMLエンジン camera: closeup ( target=Bob ) character: bow ( name=Bob ) character: talk ( name=Bob , text=“おはようございます”) TVML TVML エンジン camera: closeup ( target= Bob) character: talk ( name = Bob, text = “こんにちは") CGアニメーション
- 14. TVML エンジン プレーンテキスト TVML スクリプト FIL T2Vの内部構成 キャプチャー ムービーファイル 各種外部データ (CG, image, sound, movie, etc.) FIL: Flexible Interpretation Loader おはようございます （アップショット） （おじぎ） またまたいつもと同じ朝がやって きました そんなあなたとあの街この街、街 角テレビの時間です ・・・・ camera: closeup ( target=Mary ) character: bow ( name=Mary ) character: talk ( name=Mary, text=“おはようございます”) character: talk ( name=Mary , text=“またまたいつもよ同じ朝が”) wait(time=1.5) ……
- 15. TVML スクリプト Parser ttscore Sequencer 制御 char* wav ﾒｿｯﾄﾞ UNITY上に構築したTVMLエンジン 外部TTSエンジン※ 再生、停止、etc TVMLエンジンの構成概要 アニメーションエンジン ・TVMLのイベント毎のクラス ・TVMLのコマンドはメソッドで実装 UNITY キャプチャー ムービーファイル Asset bundle (CG, image, sound, movie, etc.) リアルタイム出力 外部音声合成I/F ※ TTS（Text-To-Speech）： テキスト音声合成
- 17. TVMLエンジンの表現力 ■スタジオショット セット set 小道具 prop 登場人物 character 照明 light カメラ camera ■映像音声素材 動画再生 movie 再撮モニター prop ■静止画（テロップ） 文字、図形、静止画像 title フリップ prop ■スーパーインポーズ 文字、静止画 super ■音声 BGM、効果音 sound 音声ﾐｷｼﾝｸﾞ(MA) sound ■作画 アートワーク drawing
- 18. 動画作成の3つの方法 • 台本形式で記述 – T2V Builderアプリで再生 • TVMLスクリプトを記述 – T2V Builderアプリで再生 • TVMLスクリプトをプログラムで生成 – SDKを使用したユーザー開発のアプリで再生 18
- 19. 製品ラインナップ • T2V Builder –台本形式、TVMLスクリプトを動画にする、主 にユーザーが利用 • T2V SDK –TVMLを再生できるオリジナルUnityアプリを開 発出来る。開発者が利用 19
- 26. 機能一覧 • Pepper内で動くアプリ – サーバーとの通信機能 – NAOqiAPIの実行 • Unityアプリ – サーバーとの通信機能 – T2Vの再生（T2VSDK） • Webシステム – 台本入力ページ – 台本管理機能 – クライアント制御機能 • クライアントアプリとの通信 • 台本の内容を解釈して、その内容を元にクライアントを制御する機能
- 27. 台本形式の解説 1 • キャラクター名$コマンド(parameter_name) • 例 – バーチャルキャラクター • ひろめ$話す(あの選手はフィジカルが強いですからね,wait=no) • ひろめ$おじぎ – Pepper • pepper$話す(縁の下のマッスルマン) • pepper$animatedSay(^start(animations/Stand/Reactions/LightShine_1)動きなが ら話すよ) • 使えるコマンドはキャラクター共通のもあるが固有のものもある • コマンドのパラメーターは省略することが出来る • コマンドは後から追加が出来る
- 28. 台本形式の解説 2 • 複数のクライアントのコマンドを同時に実行したい場合は • 行の終わりに＆をつける • 例 – ひろめ$話す(同時にしゃべるよ) & – pepper$話す(同時にしゃべるよ) • コメント機能、#で始まる行はコメントになり実行されない – 例 • # コメントです
- 29. 台本入力画面
- 30. 台本入力補完機能
- 31. なにがうれしいか？ 31 • コレグラフでPepper君アプリをつくるのは 結構大変 – 台本形式でサクサクと • Pepper君搭載のモニター画面は小さい – 大画面が使えるので視認効果大 • CGキャラ連動でシナリオの応用範囲が広 がる
- 32. 今後の展開 32 • Pepper アプリストア対応＋ク ラウドサービス化 • GUI改良 • キャラクター、モーションを増 やす • 他ロボット対応（Sota君）