【VDC6】スマートグラスの次世代ユーザインタフェース

2016年2月26日ビュージックスディベロッパーズカンファレンス
スマートグラスの次世代ユーザインタフェース
「ARmKeypad」
日本電気株式会社
ＳＩ・サービス技術本部スマートデバイスＳＩ技術センター
小菅浩揮

目次
１．ウェアラブルデバイスの動向
２．ウェアラブルデバイスの活用領域と課題
３．NECが考えるハンズフリー技術
４．NECが考えるハンズフリー技術の業務活用例

１．ウェアラブルデバイスの動向
～ウェアラブルデバイスは、ブームを起こすか!? ～

5 © NEC Corporation 2016
市場動向
▌次のビッグトレンドとして期待を集めるウェアラブルデバイス
スマートフォン、タブレットは、普及期へ
Google Glass,Apple Watchの登場で市場は加速化
出展 IDC Japan株式会社
2015年国内ウェアラブルソリューション市場トレンド分析
国内出荷台数は2014年から2019年
に向けて約4倍程度増加
Commercial向けデバイスの割合は、
2019年には6%以上に
特に工場や倉庫といったインダスト
リー環境で利用されるウェアラブル
デバイスが急増する
国内Commercial向けウェアラブルデバイスの出荷台数形状別割合予測

ウェアラブルデバイスのカテゴリ
▌大きく４つのカテゴリに分類
現在は、Consumerリスト型，時計型が牽引
グラス型は、ハンズフリー性能を活かしCommercial領域へ
Commercial
Consumer
普及速い
普及遅い
グラス型
デバイス
リスト型
デバイス
時計型
デバイス
その他
スマートフォンやIoTデバイスなど
を複合的に利用
さまざまデバイスが発信するデータ
を統合的に管理/分析
更にConsumer向けデバイスが収集
したデータをB2B用途で活用

センサーデバイス
NECが考えるウェアラブルデバイスの活用
▌“持つ”から“身に着ける”＝『ハンズフリー＆デジタルヒューマニズム』へ
▌ウェアラブルデバイスの定義
体に装着し、 “ヒト”及び“近隣の環境”の情報が得られる
通信手段を有し、他の機器と情報の連携が可能である
他の機器と通信して得た情報に対し、表現手段がある
スマートデバイス
『持つ』
から
『身に着ける』
ウェアラブルデバイス
IOTサービス
(BigData、AI、人…)
ウェアラブルデバイス
(ヒト)
環境センサ、ロボット
センシング
フィードバック

２．ウェアラブルデバイスの活用領域と課題
～ほんとうに使えるの!? 現在のウェアラブルデバイス? ～

ウェアラブルデバイス活用システムモデル
▌ウェアラブルデバイス活用システムの概念
認知
様々なコンテキストから情報
を抽出し、作業者の置かれた
状況を把握すること
知識提示
コンテキストから抽出された
支援に必要な情報を元に、関
連する知識を作業者へ伝達す
ること
アクション
作業者が何らかの実作業を行
うことであり、システムへの
入力も含まれる

ウェアラブルデバイスの活用領域
▌ウェアラブルデバイス活用システムで、“ひと”の作業を停止させることな
く、安全・安心にリアルタイム、ダイナミック、リモートで情報を得るこ
とにより、“ひと”の能力を拡張できる現場
【警備・取締】人物特定・追尾【製造】遠隔作業支援
現場作業者（ヒト）と
遠隔の熟練者（ヒト）
をリアルタイムに繋ぎ
スキル・ノウハウを共
有、有効活用
現場警備員（ヒト）と
固定カメラ（モノ）の
画像、位置情報を
クラウドを介して繋ぎ
現場力を拡張
【点検】作業指示書、説明書表示
現場作業者（ヒト）が
手順指示書や説明書を
ハンズフリーで確認し
ながら作業を効率化
【接客】顧客特定・支援情報提示【医療】業務支援、操作支援
現場従事者（ヒト）が、
医療機器の操作・転換
手順や、患者への治療
指示をハンズフリーで
確認し、ミス低減
顧客の固定カメラ・
ウェアラブルカメラ
（モノ）による特定に
より、プロフィール、
取引情報を提示し接客
担当者（ヒト）を支援
【流通】荷積み・荷卸し支援
ライン化されていない
現場作業者（ヒト）の
経験・判断に任されて
いる部分に対して、判
断を支援

活用における課題
▌全体の課題
個人情報、情報漏えい等の活用モラル
▌デバイスの課題
電池寿命
着け心地・小型化
安全性
▌ソフトウェアの課題
操作性
スマートデバイスとの役割分担
作業を停止
させない
システム提供でウェアラブルデバイス
活用を担うNECとしては、以下を
最優先で取り組んでいます。
如何にリアルタイム性とハンズフリー
を考慮したシステムをお客様にご提供
できるか
如何に安全，安心なシステムをお客様
にご提供できるか

３．NECが考えるハンズフリー技術
～実績のある技術、新しい技術～

実績のある技術、新しい技術
実績のある技術
画像認識（物体・顔）
音声認識
新しい技術
ARmKeypad

画像認識（顔）
▌NeoFace 3年連続で世界一の顔認証エンジン

画像認識（物体）
▌3次元立体物に特化した画像認識エンジン

音声認識
▌VoiceDO 耐雑音性能に優れた音声認識エンジン

ＮＥＣの取り組み
▌ユーザ視点での業務フロー
作業を確認する作業を実施する作業結果を記録する
マニュアルの確認
チェックリストを確認
目的地を地図で確認
修理を行う
在庫チェックを行う
荷物を運搬する
修理箇所の記録
不足分を発注
出庫の完了登録
一般的な業務フロー

ＮＥＣの取り組み
▌ユーザ視点での業務フロー
作業を確認する作業を実施する作業結果を記録する
ＡＲによる作業指示 作業をしながらの
内容確認を実施
結局紙や端末で登録
一連の業務をフローを全てハンズフリーで行ない「業務を止めない」
ハンズフリーな業務フロー

http://www.westunitis.co.jp/we
b/p_rms.aspx
http://www.epson.jp/osirase/2015/1
50623.htm
http://www.epson.jp/products/move
rio/bt200/
http://www.vuzix.jp/m100sm
artglassestour.html
ウェアラブルの現状
▌ウェアラブルグラスのユーザインタフェース（ＵＩ）
ボタン入力・タッチセンサ入力
・コマンド数に物理的な限界がある
・コントローラが動きの邪魔になる
・コントローラを取り出す手間
 富士通ヘッドマウントディスプレイ
・ウェアラブルキーボード
・音声コマンドhttp://pr.fujitsu.com/jp/news/2015/05/11-1.html
 ウェストユニティス
InfoLinker
・ボタン・タッチセンサ
・音声コマンド
 EPSON BT-2000 EPSON BT-200
・タッチパッド・音声コマンド・ボタン操作・音声コマンド
 VUZIX M100
・ボタン・ジェスチャセンサ
・ボイスナビゲーション

ウェアラブルの現状
▌ウェアラブルグラスのユーザインタフェース（ＵＩ）
ジェスチャ入力
空間ジェスチャ
・作業動作と操作入力の切り分けが困難
・操作方法を覚えなければならない
・操作フィードバック感がない
視線ジェスチャ
・選択動作と決定動作の切り分けが困難
音声認識
・騒音ノイズレベルの高い工場での使用が困難
ノイズキャンセル搭載の音声認識：８０ｄＢ対応騒々しい工場の中９０ｄＢ

提案するハンズフリーＵＩ
▌ARmKeyPad 腕をキーボード化する新しいユーザインタフェース

提案するハンズフリーＵＩ
デモ動画

使いたいときウォッチを見るだけで開始可能
使わないとき物理的なデバイスが邪魔になら
作業を中断しない
操作性が良い 身体上に大きな入力操作領域を配置できる
操作キーの配置レイアウトの自由度が高い
操作が感覚的 接触と非接触をしっかり区別できる
操作フィードバックが得られる
機器の構成

検出原理
▌処理フロー
仮想キーパッドのＡＲ表示
START
タッチタイミングの検出
グラスのディスプレイ
ウォッチの加速度センサ
ウォッチ位置と内容認識グラスのカメラ
ウォッチのディスプレイ
グラスのカメラ
END
操作結果の表示
タッチ位置の認識グラスのカメラ

検出原理
▌処理フロー
START
END

検出原理
▌処理フロー
START
END
Ｈ

ARmKeypadの技術的なポイント
▌グラスとウォッチを連携させたことによる３つの特長
仮想キーボードの腕への正確なＡＲ表示
ウォッチを基準にして表示位置を決めることにより、
腕の姿勢に依らず正確な重畳表示が可能。
ウォッチは腕に一体して動くので、表示がずれない。
高速・高精度な指位置の認識
指の認識範囲を腕上に限定できることにより、高速な
指位置の検出が可能。また、背景画像を腕や服といっ
た均一なものにできるため、認識精度を高くできる。
本当にタッチをしたときのみ入力
ウォッチの加速度センサでタッチ検出をトリガに入力検出をする
ため、非接触時の誤検出がない。ウォッチの検出タイミングは可
視光でグラスに伝える為、各デバイスのペアリングも不要。
認識領域

４．ハンズフリー技術の業務活用例

ARmKeypadの応用例
▌設備保全・保守点検での利用
Ａ
Ｒ
作
業
支
援
Ａ
Ｒ
作
業
支
援
③作業内容をＡＲで指示
②検査対象を画像認識で識別、
帳票データをダウンロード
①帳票をサーバで管理
Ａ
Ｒ
作
業
支
援
ハ
ン
ズ
フ
リ
ー
操
作
④腕上での仮想ＫＢ入力
帳票管理システム画像認識・ＡＲ支援仮想キーボードで点検
⑤帳票データをアップロード

お問い合わせ先
日本電気株式会社
ＳＩ・サービス技術本部スマートデバイスＳＩ技術センター
ウェアラブルチーム
wearable@techsp.jp.nec.com TEL: 03-3798-6312
http://jpn.nec.com/wearable/

【VDC6】スマートグラスの次世代ユーザインタフェース

Recommended

Recommended

More Related Content

Featured

Featured (20)

【VDC6】スマートグラスの次世代ユーザインタフェース