Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

T2V&pepper

1,213 views

Published on

Peper君とゆるキャラの連動システム

Published in: Software
  • Be the first to comment

  • Be the first to like this

T2V&pepper

  1. 1. 1 2016年3月1日 (C) ProgMind Inc. 2016 All Rights Reserved. Pepper&ゆるキャラ案内 1 株式会社プログマインド 代表取締役 濁川武郷 http://www.progmind.jp
  2. 2. アジェンダ 2 Pepper&ゆるキャラ案内
  3. 3. Pepperゆるキャラ案内とは? 3 一つのシナリオ(台本)でPeper 君とモニター(端末)内のキャラが 掛け合いコンテンツを作成できる システム フューブライトコミュニケーションズ(株)さんのロボてなしに採用
  4. 4. ゆるキャラ連動システム Team T2V 観光業向けPepperソリューション 我々は、地域創生のために、ロボットを活用した観 光サービス「ロボてなし」を地方自治体に対して提 案しています。 ロボてなしの1つの機能である「ゆるキャラ連携」シ ステムを紹介します。
  5. 5. ゆるキャラの有効活用 地方創生のマスコットとして、各地域で活躍する 「ゆるキャラ」達とPepperを共演させる技術により、 地域創生につながるより効果的な集客と情報発 信ができないだろうか?
  6. 6. コンセプト 「リアル」と「バーチャル」 くまモン! 食べ過ぎだよ! Pepperとバーチャル「ゆるキャラ」の共演により、店舗などのリアルでの利用シーンが拡張が可能! ● いつでも「ゆるキャラ」を活用 ● どこからでも「ゆるキャラ」を利用 ● 同時に何箇所でも「ゆるキャラ」を共用可能 ● 喋らない「ゆるキャラ」もPepperが補完可能 Pepperが補完することで、ゆるキャラが来店するこ となく、店舗内においてライブ感ある地域発信のイベ ントを実施することが可能になる Pepperと ゆるキャラが 掛け合い
  7. 7. 運用上の要求と解決策 - T2V技術の活用 - 常時その場所にいるPepperにとって、一番の 課題は「飽きられる」ことです。 解決策として ①台本の更新が容易で、運用の中で変更が可能 ②インターネットなどの動的情報を反映したライブを実現 T2Vの利点① 台本を書いて、CMSに登録するだけで、Pepperと ゆるキャラが、声と動きで掛け合いを始めます! T2Vの利点② プログラマブルなスクリプトで台本を動的に変更し、 最新の情報を反映した掛け合いができます。 みたらし:こんにちは、ペッパー ペッパー:どうも!みたらし君! ペッパー:(おじぎ) みたらし:こちらこそ(同時) みたらし:(おじぎ) (みたらしをアップショット) みたらし:今日は重大発表があるんだ! 今日の 天気はどう? 快晴だよ! 遊びにおいで〜 T2V とは? Text-To-Vision: テキス トを音声付きCGアニメー ションに自動的に変換する 技術。T2Vの技術的ベース には、NHK放送技術研究 所が1996年に提案したテ レビ番組台本記述言語 TVML (TV program Making Language) を使 用しています。端的に言え ば、動画コンテンツを制作 するための、様々な映像表 現を実現するためのコアプ ログラムと言えます。動画 を作成するた目に必要な。 映像、画像、音楽、脚本、 演出、字幕、エフェクト等 の全てを、TVMLエンジン で表現できるように実装さ れています。 参考URL おひろめT2V http://ohirome.t2v.bz/
  8. 8. 実用事例 - 東京モノレールPepper - 東京モノレール様のPR活動として、9月に 開催されたツーリズムEXPOにて紹介。多く の人々にPepperとゆるキャラによる新しい 地域創生のための活用を訴求することがで きました。
  9. 9. デモ 9
  10. 10. 予備知識 • 要素技術 –T2V/TVML : 端末側キャラクター制御 –NAO qi API : Pepper側制御 –サーバーアプリ: 台本変換、通信 10
  11. 11. T2Vとは? Text-To-Vision: テキストを音声付きCGアニメーションに 自動的に変換する技術 おはようございます (アップショット) (おじぎ) またまたいつもと同じ朝がやっ てきました そんなあなたとあの街この街、 街角テレビの時間です ・・・・ テキスト(台本) CGアニメーション T2V T2Vの技術的ベースにはTVML (TV program Making Language) ※を使用 ※ NHK放送技術研究所が1996年に提案したテレビ番組台本記述言語 テレビ番組制作 のノウハウ
  12. 12. T2Vの仕組み FIL: Flexible Interpretation Loader camera: closeup ( target=Mary ) character: bow ( name=Mary ) character: talk ( name=Mary , text=“おはようございます”) character: talk ( name=Mary , text=“またまたいつもよ同 じ朝がやってきました”) wait(time=1.5) …… おはようございます (アップショット) (おじぎ) またまたいつもと同じ朝 がやってきました そんなあなたとあの街こ の街、街角テレビの時間 です ・・・・ FIL(演出ジェネレータ) TVMLエンジン テキスト(台本) CGアニメーションTVML (スクリプト)
  13. 13. T2Vの技術的ベース - TVML TVML ( TV program Making Language ) →テレビ番組を記述するスクリプト言語 →TVMLスクリプトを読み取って、CGキャラクタや音声合成で リアルタイムでCGアニメーションを出力するエンジン TVMLエンジン camera: closeup ( target=Bob ) character: bow ( name=Bob ) character: talk ( name=Bob , text=“おはようございます”) TVML TVML エンジン camera: closeup ( target= Bob) character: talk ( name = Bob, text = “こんにちは") CGアニメーション
  14. 14. TVML エンジン プレーンテキスト TVML スクリプト FIL T2Vの内部構成 キャプチャー ムービーファイル 各種外部データ (CG, image, sound, movie, etc.) FIL: Flexible Interpretation Loader おはようございます (アップショット) (おじぎ) またまたいつもと同じ朝がやって きました そんなあなたとあの街この街、街 角テレビの時間です ・・・・ camera: closeup ( target=Mary ) character: bow ( name=Mary ) character: talk ( name=Mary, text=“おはようございます”) character: talk ( name=Mary , text=“またまたいつもよ同じ朝が”) wait(time=1.5) ……
  15. 15. TVML スクリプト Parser ttscore Sequencer 制御 char* wav メソッド UNITY上に構築したTVMLエンジン 外部TTSエンジン※ 再生、停止、etc TVMLエンジンの構成概要 アニメーションエンジン ・TVMLのイベント毎のクラス ・TVMLのコマンドはメソッドで実装 UNITY キャプチャー ムービーファイル Asset bundle (CG, image, sound, movie, etc.) リアルタイム出力 外部音声合成I/F ※ TTS(Text-To-Speech): テキスト音声合成
  16. 16. TVMLエンジン 動画コンテンツを制作するための、様々な映 像表現を実現するためのコアプログラム。 動画を作成するためには、映像、画像、音楽、 脚本、演出、字幕、エフェクト等 が必要であり、 TVMLエンジンはその全てが表現できるように 実装されている
  17. 17. TVMLエンジンの表現力 ■スタジオショット セット set 小道具 prop 登場人物 character 照明 light カメラ camera ■映像音声素材 動画再生 movie 再撮モニター prop ■静止画(テロップ) 文字、図形、静止画像 title フリップ prop ■スーパーインポーズ 文字、静止画 super ■音声 BGM、効果音 sound 音声ミキシング(MA) sound ■作画 アートワーク drawing
  18. 18. 動画作成の3つの方法 • 台本形式で記述 – T2V Builderアプリで再生 • TVMLスクリプトを記述 – T2V Builderアプリで再生 • TVMLスクリプトをプログラムで生成 – SDKを使用したユーザー開発のアプリで再生 18
  19. 19. 製品ラインナップ • T2V Builder –台本形式、TVMLスクリプトを動画にする、主 にユーザーが利用 • T2V SDK –TVMLを再生できるオリジナルUnityアプリを開 発出来る。開発者が利用 19
  20. 20. 対応プラットフォーム Windows Mac(OS X) iOS Android Webブラウザ 20
  21. 21. T2V 専用サイト 21 おひろめT2V http://ohirome.t2v.bz/ ヘルプ チュートリアル T2V Builderフリー版の ダウンロード
  22. 22. Peper君アプリの開発方法 22 コレグラフで開発(GUI) NAOqi APIによる開発(Python) の2通りがある
  23. 23. Pepper&ゆるキャラ案内 詳細 23 Pepperゆるキャラ案内の 詳細解説
  24. 24. Pepper バーチャルキャラクター 概要 一つの台本でPepperとバーチャルのキャラクター を制御
  25. 25. Webシステム Pepper内で動くアプリ 台本入力画面(Webページ) http Unityのアプリ (マルチプラットフォーム) 構成イメージ WebSocket
  26. 26. 機能一覧 • Pepper内で動くアプリ – サーバーとの通信機能 – NAOqiAPIの実行 • Unityアプリ – サーバーとの通信機能 – T2Vの再生(T2VSDK) • Webシステム – 台本入力ページ – 台本管理機能 – クライアント制御機能 • クライアントアプリとの通信 • 台本の内容を解釈して、その内容を元にクライアントを制御する機能
  27. 27. 台本形式の解説 1 • キャラクター名$コマンド(parameter_name) • 例 – バーチャルキャラクター • ひろめ$話す(あの選手はフィジカルが強いですからね,wait=no) • ひろめ$おじぎ – Pepper • pepper$話す(縁の下のマッスルマン) • pepper$animatedSay(^start(animations/Stand/Reactions/LightShine_1)動きなが ら話すよ) • 使えるコマンドはキャラクター共通のもあるが固有のものもある • コマンドのパラメーターは省略することが出来る • コマンドは後から追加が出来る
  28. 28. 台本形式の解説 2 • 複数のクライアントのコマンドを同時に実行したい場合は • 行の終わりに&をつける • 例 – ひろめ$話す(同時にしゃべるよ) & – pepper$話す(同時にしゃべるよ) • コメント機能、#で始まる行はコメントになり実行されない – 例 • # コメントです
  29. 29. 台本入力画面
  30. 30. 台本入力補完機能
  31. 31. なにがうれしいか? 31 • コレグラフでPepper君アプリをつくるのは 結構大変 – 台本形式でサクサクと • Pepper君搭載のモニター画面は小さい – 大画面が使えるので視認効果大 • CGキャラ連動でシナリオの応用範囲が広 がる
  32. 32. 今後の展開 32 • Pepper アプリストア対応+ク ラウドサービス化 • GUI改良 • キャラクター、モーションを増 やす • 他ロボット対応(Sota君)

×