Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20180727 xRLT vol.2 発表資料

605 views

Published on

2018/7/27(金)に開催された xRLT vol.2 でのLT資料です。

Published in: Software
  • Be the first to comment

20180727 xRLT vol.2 発表資料

  1. 1. HoloLens + Azure (HoloLensコンテスト応募アプリ概要) 2018年7月27日 株式会社ホロラボ 加藤 広務 xRLT vol.2
  2. 2. 自己紹介 氏名 : 職歴 : 備考 : 2 加藤 広務(Hiromu Kato) NEC • ミドルウェア開発 • ソフトウェア戦略・企画 • 携帯電話/携帯コンテンツ企画 サイバーエージェントグループ • スマホゲームのネイティブエンジニア ホロラボ • MRエンジニア 趣味でアプリをリリースしたりしていました Twitter @hi_rom_
  3. 3. アプリ概要(動画) https://www.youtube.com/watch?v=rzL5ZOutTA0
  4. 4. アプリ概要  日本語で検索を行うのか英語で検索を行うかボタンをエアタップし選択  RECボタンをエアタップし録音を開始する  再度RECボタンをタップすることで録音を終了する(自動終了することも考え ましたが雑音など周りの環境の影響を大きく受けるので見送りました)  文章、キーワードがうまく認識されるとそれぞれテキストとして表示される  キーワードをもとに画像検索を自動的に開始  この際どのようなキーワードで検索しているのか音声ガイダンスが流れる  画像のダウンロードが終了したら周りに囲むように表示される  タップ・ホールドジェスチャにより画像を左右に操作することができる  詳細を確認した画像はゲイズ・タップにより別ウィンドウで表示される  検索ウィンドウ、詳細ウィンドウについてはユーザの向く方向に追従するがピ ン止めすることで位置を固定することも可能
  5. 5. 利用したAzureの技術
  6. 6. 利用したAzureの技術  Speech To Text  音声→テキスト変換  Text To Speech  テキスト→音声変換  Language Understanding(LUIS)  あいまいな文章から検索キーワード抽出(日/英対応)  Bing Search API  画像検索 音声 言語 検索
  7. 7. Azure フロー Speech To Text Text To SpeechLUIS Bing Image Search 「猫の画像を検索」 ( 音声データ) 「猫の画像を検索」 ( テキストデータ) 「猫」( テキストデータ) 「猫の画像を検索します」( 音声データ) 「猫の画像を検索」( テキストデータ) 「猫」( テキストデータ) 「猫」( テキストデータ) (画像に関するメタデータ) 日/英のエンドポイントを用意
  8. 8. 詳細  Microsoft HoloLens アプリケーション開発コンテスト http://www.hiromukato.com/entry/2018/04/30/192107  Azureを利用したHoloLensでの日本語音声入力 http://www.hiromukato.com/entry/2018/05/02/172356  Bing Speech APIによるテキストの音声変換 http://www.hiromukato.com/entry/2018/05/04/231529  LUISによる自然言語認識 http://www.hiromukato.com/entry/2018/05/05/231857  Bing Image Search による画像検索 http://www.hiromukato.com/entry/2018/05/06/160808  GitHub(HiromuKato/HoloAzureSample) https://github.com/HiromuKato/HoloAzureSample
  9. 9. ご清聴ありがとうございました

×