Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

【VDC6】スマートグラスの次世代ユーザインタフェース

269 views

Published on

日本電気株式会社 小菅氏

Published in: Software
  • Be the first to comment

  • Be the first to like this

【VDC6】スマートグラスの次世代ユーザインタフェース

  1. 1. 2016年2月26日 ビュージックスディベロッパーズカンファレンス スマートグラスの次世代ユーザインタフェース 「ARmKeypad」 日本電気株式会社 SI・サービス技術本部 スマートデバイスSI技術センター 小菅 浩揮
  2. 2. 目次 1.ウェアラブルデバイスの動向 2.ウェアラブルデバイスの活用領域と課題 3.NECが考えるハンズフリー技術 4.NECが考えるハンズフリー技術の業務活用例
  3. 3. 1.ウェアラブルデバイスの動向 ~ ウェアラブルデバイスは、ブームを起こすか!? ~
  4. 4. 5 © NEC Corporation 2016 市場動向 ▌次のビッグトレンドとして期待を集めるウェアラブルデバイス スマートフォン、タブレットは、普及期へ Google Glass,Apple Watchの登場で市場は加速化 出展 IDC Japan株式会社 2015年 国内ウェアラブルソリューション市場 トレンド分析 国内出荷台数は2014年から2019年 に向けて約4倍程度増加 Commercial向けデバイスの割合は、 2019年には6%以上に 特に工場や倉庫といったインダスト リー環境で利用されるウェアラブル デバイスが急増する 国内Commercial向けウェアラブルデバイスの出荷台数 形状別割合予測
  5. 5. 6 © NEC Corporation 2016 ウェアラブルデバイスのカテゴリ ▌大きく4つのカテゴリに分類 現在は、Consumerリスト型,時計型が牽引 グラス型は、ハンズフリー性能を活かしCommercial領域へ Commercial Consumer 普及速い 普及遅い グラス型 デバイス リスト型 デバイス 時計型 デバイス その他 スマートフォンやIoTデバイスなど を複合的に利用 さまざまデバイスが発信するデータ を統合的に管理/分析 更にConsumer向けデバイスが収集 したデータをB2B用途で活用
  6. 6. 7 © NEC Corporation 2016 センサー デバイス NECが考えるウェアラブルデバイスの活用 ▌“持つ”から“身に着ける”=『ハンズフリー&デジタルヒューマニズム』へ ▌ウェアラブルデバイスの定義 体に装着し、 “ヒト”及び“近隣の環境”の情報が得られる 通信手段を有し、他の機器と情報の連携が可能である 他の機器と通信して得た情報に対し、表現手段がある スマートデバイス 『持つ』 から 『身に着ける』 ウェアラブルデバイス IOTサービス (BigData、AI、人…) ウェアラブルデバイス (ヒト) 環境センサ、ロボット センシング フィードバック
  7. 7. 2.ウェアラブルデバイスの活用領域と課題 ~ ほんとうに使えるの!? 現在のウェアラブルデバイス? ~
  8. 8. 9 © NEC Corporation 2016 ウェアラブルデバイス活用システムモデル ▌ウェアラブルデバイス活用システムの概念 認知 様々なコンテキストから情報 を抽出し、作業者の置かれた 状況を把握すること 知識提示 コンテキストから抽出された 支援に必要な情報を元に、関 連する知識を作業者へ伝達す ること アクション 作業者が何らかの実作業を行 うことであり、システムへの 入力も含まれる
  9. 9. 10 © NEC Corporation 2016 ウェアラブルデバイスの活用領域 ▌ウェアラブルデバイス活用システムで、“ひと”の作業を停止させることな く、安全・安心にリアルタイム、ダイナミック、リモートで情報を得るこ とにより、“ひと”の能力を拡張できる現場 【警備・取締】人物特定・追尾【製造】遠隔作業支援 現場作業者(ヒト)と 遠隔の熟練者(ヒト) をリアルタイムに繋ぎ スキル・ノウハウを共 有、有効活用 現場警備員(ヒト)と 固定カメラ(モノ)の 画像、位置情報を クラウドを介して繋ぎ 現場力を拡張 【点検】作業指示書、説明書表示 現場作業者(ヒト)が 手順指示書や説明書を ハンズフリーで確認し ながら作業を効率化 【接客】顧客特定・支援情報提示【医療】業務支援、操作支援 現場従事者(ヒト)が、 医療機器の操作・転換 手順や、患者への治療 指示をハンズフリーで 確認し、ミス低減 顧客の固定カメラ・ ウェアラブルカメラ (モノ)による特定に より、プロフィール、 取引情報を提示し接客 担当者(ヒト)を支援 【流通】荷積み・荷卸し支援 ライン化されていない 現場作業者(ヒト)の 経験・判断に任されて いる部分に対して、判 断を支援
  10. 10. 11 © NEC Corporation 2016 活用における課題 ▌全体の課題 個人情報、情報漏えい等の活用モラル ▌デバイスの課題 電池寿命 着け心地・小型化 安全性 ▌ソフトウェアの課題 操作性 スマートデバイスとの役割分担 作業を停止 させない システム提供でウェアラブルデバイス 活用を担うNECとしては、以下を 最優先で取り組んでいます。 如何にリアルタイム性とハンズフリー を考慮したシステムをお客様にご提供 できるか 如何に安全,安心なシステムをお客様 にご提供できるか
  11. 11. 3.NECが考えるハンズフリー技術 ~ 実績のある技術、新しい技術 ~
  12. 12. 13 © NEC Corporation 2016 実績のある技術、新しい技術 実績のある技術 画像認識(物体・顔) 音声認識 新しい技術 ARmKeypad
  13. 13. 14 © NEC Corporation 2016 画像認識(顔) ▌NeoFace 3年連続で世界一の顔認証エンジン
  14. 14. 15 © NEC Corporation 2016 画像認識(物体) ▌3次元立体物に特化した画像認識エンジン
  15. 15. 16 © NEC Corporation 2016 音声認識 ▌VoiceDO 耐雑音性能に優れた音声認識エンジン
  16. 16. 17 © NEC Corporation 2016 NECの取り組み ▌ユーザ視点での業務フロー 作業を確認する 作業を実施する 作業結果を記録する マニュアルの確認 チェックリストを確認 目的地を地図で確認 修理を行う 在庫チェックを行う 荷物を運搬する 修理箇所の記録 不足分を発注 出庫の完了登録 一般的な業務フロー
  17. 17. 18 © NEC Corporation 2016 NECの取り組み ▌ユーザ視点での業務フロー 作業を確認する 作業を実施する 作業結果を記録する ARによる作業指示 作業をしながらの 内容確認を実施 結局紙や端末で登録 一連の業務をフローを全てハンズフリーで行ない「業務を止めない」 ハンズフリーな業務フロー
  18. 18. 19 © NEC Corporation 2016 http://www.westunitis.co.jp/we b/p_rms.aspx http://www.epson.jp/osirase/2015/1 50623.htm http://www.epson.jp/products/move rio/bt200/ http://www.vuzix.jp/m100sm artglassestour.html ウェアラブルの現状 ▌ウェアラブルグラスのユーザインタフェース(UI) ボタン入力・タッチセンサ入力 ・コマンド数に物理的な限界がある ・コントローラが動きの邪魔になる ・コントローラを取り出す手間  富士通 ヘッドマウントディスプレイ ・ウェアラブルキーボード ・音声コマンドhttp://pr.fujitsu.com/jp/news/2015/05/11-1.html  ウェストユニティス InfoLinker ・ボタン・タッチセンサ ・音声コマンド  EPSON BT-2000 EPSON BT-200 ・タッチパッド・音声コマンド ・ボタン操作・音声コマンド  VUZIX M100 ・ボタン・ジェスチャセンサ ・ボイスナビゲーション
  19. 19. 20 © NEC Corporation 2016 ウェアラブルの現状 ▌ウェアラブルグラスのユーザインタフェース(UI) ジェスチャ入力 空間ジェスチャ ・作業動作と操作入力の切り分けが困難 ・操作方法を覚えなければならない ・操作フィードバック感がない 視線ジェスチャ ・選択動作と決定動作の切り分けが困難 音声認識 ・騒音ノイズレベルの高い工場での使用が困難 ノイズキャンセル搭載の音声認識:80dB対応騒々しい工場の中90dB
  20. 20. 21 © NEC Corporation 2016 提案するハンズフリーUI ▌ARmKeyPad 腕をキーボード化する新しいユーザインタフェース
  21. 21. 22 © NEC Corporation 2016 提案するハンズフリーUI ▌ARmKeyPad 腕をキーボード化する新しいユーザインタフェース デモ動画
  22. 22. 23 © NEC Corporation 2016 使いたいときウォッチを見るだけで開始可能 使わないとき物理的なデバイスが邪魔になら 作業を中断しない 操作性が良い 身体上に大きな入力操作領域を配置できる 操作キーの配置レイアウトの自由度が高い 操作が感覚的 接触と非接触をしっかり区別できる 操作フィードバックが得られる 機器の構成 ▌ARmKeyPad 腕をキーボード化する新しいユーザインタフェース
  23. 23. 24 © NEC Corporation 2016 検出原理 ▌処理フロー 仮想キーパッドのAR表示 START タッチタイミングの検出 グラスのディスプレイ ウォッチの加速度センサ ウォッチ位置と内容認識 グラスのカメラ ウォッチのディスプレイ グラスのカメラ END 操作結果の表示 タッチ位置の認識 グラスのカメラ グラスのディスプレイ
  24. 24. 25 © NEC Corporation 2016 検出原理 ▌処理フロー 仮想キーパッドのAR表示 START タッチタイミングの検出 グラスのディスプレイ ウォッチの加速度センサ ウォッチ位置と内容認識 グラスのカメラ ウォッチのディスプレイ グラスのカメラ END 操作結果の表示 タッチ位置の認識 グラスのカメラ グラスのディスプレイ
  25. 25. 26 © NEC Corporation 2016 検出原理 ▌処理フロー 仮想キーパッドのAR表示 START タッチタイミングの検出 グラスのディスプレイ ウォッチの加速度センサ ウォッチ位置と内容認識 グラスのカメラ ウォッチのディスプレイ グラスのカメラ END 操作結果の表示 タッチ位置の認識 グラスのカメラ グラスのディスプレイ
  26. 26. 27 © NEC Corporation 2016 検出原理 ▌処理フロー 仮想キーパッドのAR表示 START タッチタイミングの検出 グラスのディスプレイ ウォッチの加速度センサ ウォッチ位置と内容認識 グラスのカメラ ウォッチのディスプレイ グラスのカメラ END 操作結果の表示 タッチ位置の認識 グラスのカメラ グラスのディスプレイ
  27. 27. 28 © NEC Corporation 2016 検出原理 ▌処理フロー 仮想キーパッドのAR表示 START タッチタイミングの検出 グラスのディスプレイ ウォッチの加速度センサ ウォッチ位置と内容認識 グラスのカメラ ウォッチのディスプレイ グラスのカメラ END 操作結果の表示 タッチ位置の認識 グラスのカメラ グラスのディスプレイ H
  28. 28. 29 © NEC Corporation 2016 ARmKeypadの技術的なポイント ▌グラスとウォッチを連携させたことによる3つの特長 仮想キーボードの腕への正確なAR表示 ウォッチを基準にして表示位置を決めることにより、 腕の姿勢に依らず正確な重畳表示が可能。 ウォッチは腕に一体して動くので、表示がずれない。 高速・高精度な指位置の認識 指の認識範囲を腕上に限定できることにより、高速な 指位置の検出が可能。また、背景画像を腕や服といっ た均一なものにできるため、認識精度を高くできる。 本当にタッチをしたときのみ入力 ウォッチの加速度センサでタッチ検出をトリガに入力検出をする ため、非接触時の誤検出がない。ウォッチの検出タイミングは可 視光でグラスに伝える為、各デバイスのペアリングも不要。 認識領域
  29. 29. 4.ハンズフリー技術の業務活用例
  30. 30. 31 © NEC Corporation 2016 ARmKeypadの応用例 ▌設備保全・保守点検での利用 A R 作 業 支 援 A R 作 業 支 援 ③作業内容をARで指示 ②検査対象を画像認識で識別、 帳票データをダウンロード ①帳票をサーバで管理 A R 作 業 支 援 ハ ン ズ フ リ ー 操 作 ④腕上での仮想KB入力 帳票管理システム 画像認識・AR支援 仮想キーボードで点検 ⑤帳票データをアップロード
  31. 31. 32 © NEC Corporation 2016 お問い合わせ先 日本電気株式会社 SI・サービス技術本部 スマートデバイスSI技術センター ウェアラブルチーム wearable@techsp.jp.nec.com TEL: 03-3798-6312 http://jpn.nec.com/wearable/

×