PTC Vuforia を使用したAR(拡張現実)とVR(仮想現実)

75,642 views

Published on

AR(Augmented Reality = 拡張現実)の技術では、世界トップクラスのPTC Vuforia。その認識の種類と、その事例を紹介します。

Published in: Technology

PTC Vuforia を使用したAR(拡張現実)とVR(仮想現実)

  1. 1. 第1.4.1版 2016年5⽉7⽇(⼟) ⻲⼭ 悦治 (Etsuji Kameyama) IoT+Enterprise AR(拡張現実) へ進化する PTC Vuforia
  2. 2. 2015/11/17 - PTCのデジタルとフィジカルの融合の戦略を拡充PTCはVuforiaのソリューションと コミュニティの継続的な拡⼤を表明後、2016年1⽉28⽇(⽊) に、初のVuforia関連イベント “THINGEVENT” を実施 PTC Vuforiaの現状と最新情報
  3. 3. 【PTCについて】 PTC(NASDAQ: PTC)は企業がモノのインターネット(IoT)の「モノ」の開発、運 ⽤、サービスを変⾰するテクノロジー プラットフォームやソリューションをグローバ ルに提供する企業。 PTC Vuforia ゼネラルマネージャ兼シニアバイスプレジデントのジェイ・ライト(Jay Wright)は「PTCは、モノとのやり取りや体験のやり⽅を完全に変えてしまう技術が 揃ったと考えます。当社がVuforiaで⽬指しているのは、すべてのモノを対象とした拡 張現実(AR)体験を提供し、将来の仕事のしかたを根本から変えるということです」 と述べている。 IDCシニアバイスプレジデント兼IoTリサーチフェローのバーノン・ターナー (Vernon Turner)⽒は「今⽇の発表は、IoT(モノのインターネット)と拡張現実と いう2つの変⾰をもたらす技術トレンドを活⽤して⼈と製品のやり取りを根本から変え てしまう新たなクラスの製品を提供するというもの…」と述べている。 出典(prtimes):http://prtimes.jp/main/html/rd/p/000000068.000008474.html Vuforiaの最新情報
  4. 4. クアルコム時代の⼤⼿企業への導⼊実績は数多い Vuforiaの最新情報
  5. 5. 主な利⽤実績は、玩具、エンターテーメント、ブランディング、教育、セールス・マーケティング Vuforiaの最新情報
  6. 6. これからPTCは、エンタープライズARへの取り組みを強化 Vuforiaの最新情報
  7. 7. Vuforiaが導⼊可能な今までのデバイス群 (元クアルコム社のジェイ・ライト⽒から説明) Vuforiaの最新情報
  8. 8. 2016年夏頃から、新たにWindows10が加わる https://developer.vuforia.com Vuforiaの最新情報
  9. 9. VuMarkは、どのような対象物でもAR機能を提供できる”次世代バーコード”。周りのデザインなど と外観を統⼀できない課題を解決する。VuMarkは⾃由なデザインをバーコードとして利⽤するこ とができ、機械類や製造物など幅広いものへの提供を想定している。2016年夏頃公開。 https://developer.vuforia.com Vuforiaの最新情報
  10. 10. https://youtu.be/25MWIHnF0Hs Sysmex Corporation
  11. 11. https://youtu.be/WRc8vxjoRpY KTM Motorcycles
  12. 12. https://youtu.be/8PS0pjNRTGY Schneider Electric
  13. 13. CAT CAT - IoT + AR ̶-300を超える機械からなる製品ラインを揃えたCaterpillar https://youtu.be/ebjX_djNvfw http://www.cat.com/ja_JP/products.html
  14. 14. PTC社のVuforia買収 2015年11⽉ PTC to Acquire Augmented Reality Leader Vuforia from Qualcomm http://www.ptc.com/about/news-room/press-releases/2015/ptc-to-acquire-vuforia Purchase Extends PTCʼs Strategy for Digital and Physical Convergence; PTC Commits to Continued Growth of Vuforia Technology and Community NEEDHAM, MASS., October 12, 2015 – PTC (NASDAQ: PTC) today announced it has signed a definitive agreement to acquire the Vuforia business from Qualcomm Connected Experiences, Inc., a subsidiary of Qualcomm Incorporated (NASDAQ: QCOM), for $65 million. Vuforia is the industryʼs most advanced and widely adopted augmented reality (AR) technology platform, and will enrich PTCʼs technology portfolio and accelerate PTCʼs strategy as a leading provider of technologies and solutions that blend the digital and physical worlds. Under terms of the agreement, PTC will acquire the award-winning Vuforia business, including the developer ecosystem. PTC is committed to continued investment in the Vuforia platform and to the ongoing support and growth of the Vuforia ecosystem. http://japan.cnet.com/news/business/35071810/ IoT(モノのインターネット)ソフトウェアメーカーのPTCは、Qualcommの⼦会社Qualcomm Connected Experiencesか ら、「Vuforia」事業を6500万ドルで買収することで合意したと発表した。  Vuforiaは5年前に開発された拡張現実(AR)向けモバイルビジョンプラットフォームだ。この技術は、実世界とコン ピュータが⽣成する素材を融合させるもので、主に⼩売業向けアプリケーションで利⽤されている。  PTCは、⾃社のIoTおよび分析プラットフォームに、このVuforiaを組み合わせることを計画している。その最終的な⽬標 は、ARとIoTの両⽅を活⽤したワークプレイステクノロジの統合プラットフォームの構築にあるようだ。 クアルコム、ARの「Vuforia」事業をPTCに売却へ--6500万ドル 出典: 出典:
  15. 15. Vuforia 5 リリースARからVRの世界へ https://www.youtube.com/watch?v=4WLlyw-_fvg
  16. 16. Vuforia 5 リリース ARの業務利⽤にも https://www.youtube.com/watch?v=4WLlyw-_fvg
  17. 17. Vuforiaについて Vuforiaの技術と国内外事例 Images:画像認識:写真やイラストなどの画像を認識 Frame Markers:コード化したフレームマーカーを認識 User-Defined Images:⾃⼰定義認識:その場で選んだ画像をターゲットとして設定 Cylinders:⽴体円柱認識:⽸などのシリンダー状の⽴体物を認識 Boxes:⽴⽅体認識:サイコロのような⽴⽅体を認識 Occlusion Management:⽴⽅体認識と似ているが、箱の中に物が⼊っているようにできる Virtual Buttons:認識画像側に仮想ボタンを設置しARの動作を切り替えられる Text:⽂字認識:⽂字 text を認識。現在は英語のみ認識可能 Extended Tracking:拡張トラッキング:ターゲット画像がカメラから外れても継続認識 Smart Terrain:画像認識を拡張しその周りの物を存在するかのようにAR上に影響を与える Objects:⽴体物を認識することができる(特徴点タイプ) Digital Eyewear:対応するヘッドマウントディスプレイに特化したSDK Vuforia Cloud:ターゲット画像の認識を端末内でではなくクラウド側で認識 付録 ⽬ 次
  18. 18. Vuforiaについて
  19. 19. Vuforiaの優れた技術がもたらす表現⼒ 1万以上のアプリ・1億5千万のインストール数
  20. 20. Vuforia - Vuforia Cloud •公式サイト:https://www.vuforia.com (Qualcomm)        http://www.ptc.com/about/history/vuforia (PTC) •対応:iOS、Android OS •ARタイプ:画像認識、マーカー認識、英字テキスト認識、⽴体認識等 •取扱可能コンテンツタイプ:静⽌画、動画、3DCG、⾳声等 •スマートフォン向けの画像認識ARアプリで使⽤された実績は、世界最 ⾼レベル。レゴの3Dカタログ、セサミのテキスト認識、NASAの探査機 のインタラクティブなARなど。⽇本国内の画像認識系のARアプリの多 くにはVuforiaが採⽤。 2014年6⽉ナレッジワークス株式会社は Vuforia Preferred Developer を取得 (2014年6⽉時点では、⽇本では2社のみが取得) ⽇本では、Vuforiaを使⽤したARアプリの開発実績がトップクラス。 AR開発・導⼊を検討中の⽅は、ぜひご相談ください。
  21. 21. Vuforia の優位性 •Qualcomm(クアルコム)は、Androidなどのスマートフォンの⼼臓部に あたるチップSnapdragon™(スナップドラゴンプロセッサー)を開発し ている⽶国の企業であることは皆さんご存知だと思います。しかしなが ら、その領域はスマートフォン等に留まらず、⾃動⾞・家電などさまざ まな⽣活シーンで利⽤されています。IoTでの採⽤も始まっています。 •Snapdragonに最適化されたVuforiaは、Snapdragonチップ上では、そ の性能を100%近く引き出すことができると⾔われています。しかし、 Snapdragonを採⽤していない殆どのAndroid端末で動作するだけでな くiOS向けのSDK(開発キット)も⽤意されています。このSDKは2015年 6⽉1⽇現在、無料で使⽤することができます。クラウドタイプとして使 ⽤する場合等は別料⾦体系が⽤意されています。画像特徴点認識タイプ とては、他社のARの追従を許さない⾼性能とバリエーションがありま す。
  22. 22. Vuforia のARバリエーション 出典:https://www.qualcomm.com/products/vuforia/features
  23. 23. VR/AR向けアプリ開発キット •Vuforia SDK 4.0 - Vuforia for Digital Eyewear 出典:https://developer.vuforia.com/downloads/sdk
  24. 24. Vuforiaが使⽤されている代表的なARアプ https://www.qualcomm.com/products/vuforia/apps上記はほんの⼀部…出展:
  25. 25. Vuforiaの技術と国内外事例
  26. 26. Vuforia - Images
  27. 27. Vuforia が採⽤する画像認識 ๏ 画像認識(解析)と画像検索はどのように⾏われるのでしょう?ARで⽤いられている画像解析の仕組み は各社で異なります(ただし、同じAR技術を採⽤しているアプリは多々存在します)。AR⽤の解析技術 に限ったことではありませんが、残念なことに共通化には⾄っていません。「QRコードやバーコード のように、ある程度の規格があるようにAR規格は世界共通にはならないのか?」等の質問を受けるこ とが有ります。しかしながら、イニシアチブがとれる企業が共同で取り組まない限り、実現はしないで しょう。ここでは、Vuforia が使⽤している画像認識の⽅式について説明します。 ๏ Vuforiaで使⽤されている認識⽅式: ‣ 特徴点⼀致:この画像解析⽅式は、画像のなかで濃淡がはっきりしているエッジの部分を⾃動解析 し、バランスよく利⽤できる⽅式です。多くのARではこの⽅式が採⽤されています。カメラで撮影 中、アプリよって点々が⾒える箇所がその特徴点部分に該当します。特徴的⼀致の⽅式では、認識 時に⼀旦端末内でカラー画像をグレースケール画像に変換した後、特徴点データを⽣成する⽅式と なっていることが多いようです。Vuforiaでもこのようなタイプの技術を採⽤しています。 ‣ ある程度の⾓度や光の反射が有ったとしても、30-50%程度の⼀致箇所が⾒つかると認識されるよ うになっているため、利⽤者はストレスなく⾃然に操作することができます。特徴点の解析結果 は、⭐ 印を5段階で⾒ることができるようになっており、1〜2点点程度が得られれば、ストレスな く認識されます。印刷物の場合、⼊稿前に事前検証が必須となります。印刷済みのものでももちろ ん使⽤可能ですが、これから印刷する場合はクリエイティブにまで関わることが必要です。次ペー ジに解析結果のサンプルを掲載します。
  28. 28. Vuforia が採⽤する画像認識(サンプル) ※上記サンプルは、Vuforiaで解析した場合に得られる情報で す。向かって左側が基の画像、左側が解析後のデータです。認 識点が多い場合でも必ずしも認識率が⾼いとはいえない場合が 有るため、認識箇所の決定前には必ず事前の確認が必要です。 ※認識されない・認識率がかなり低い ※認識されるが追従性は低い可能性あり ※問題なく認識・追従される ※普通に認識・追従される ※問題なく認識・追従される
  29. 29. 商品パッケージとAR連動 株式会社アキタ - アキタたまごAR AppStore,GooglePlay “アキタたまご” で検索 ⽣産履歴検索が⾏えるアプリ。たまごのパッケージは「ゴミ箱ではなく、おもちゃ箱 へ」。お⼦様がおもちゃのようにスマートフォンで遊べるようになっている。
  30. 30. daub ぬってポン!3Dぬりえ だーぶ AppStore,GooglePlay “daub” で検索 ✴祝!開局60周年!⼭梨放送開局 記念イベント/モモオとモモッチ のぬりえAR ✴5⽉3⽇4,5⽇ 広島市の平和通り と平和記念公園で開催された 「2014ひろしまフラワーフェ スティバル」会場内でご活⽤。 ✴5⽉11⽇のママの⽇に向け、 ファミリーマート限定「ありが とうミルクチョコレート」
  31. 31. CDの付録で楽しめるAR http://cp.dsp.disney.co.jp/cpn/2012summer/http://http://news.livedoor.com/article/detail/6397052//article/detail/6397052/ ayupan AR は、ayupanの3D モデルが曲に合わせて歌って踊る様⼦を ARで楽しむ ことができるアプリ。浜崎さんの 13thアルバム「Party Queen」(初回盤)に同梱の ステージを模した台紙にアプリをインストールしたスマートフォンをかざすことで利 ⽤できる。 浜崎あゆみ ayupanAR
  32. 32. 探査機の操作を仮想体験 太陽系の宇宙探索を⾏うための 探査機をARで楽しむことができ る「Spacecraft 3D」。NASAの ジェット推進研究所が実現。 AppStore,GooglePlay “Spacecraft” で検索
  33. 33. 2種類のカードが連動する海外のデモ https://www.youtube.com/watch?v=cTIjpo6cb6M
  34. 34. Vuforia - Frame Markers Frame markers are images that look a little like QR codes but give you the freedom to put your own image inside. They are ideal to use for game pieces or in other experiences with multiple targets that are seen simultaneously.
  35. 35. 東芝未来科学館に展⽰されるAR教材(1/2) http://toshiba-mirai-kagakukan.jp/exhibition/permanent_exhibition/enterprise/city/index_j.htm つくった電気を再利⽤するモーターや、何度でも利⽤できる電池。街には、限 られたエネルギーを無駄にしないための⼯夫がつまっています
  36. 36. 東芝未来科学館に展⽰されるAR教材(2/2)
  37. 37. www.youtube.com/watch?v=i_lMfug76Q4 ポップアップカメラプラス マーカーをトリガーとして使⽤する事例
  38. 38. https://www.youtube.com/watch?v=DBcpVqK8tS8 Hot Wheels Power Port マテルが提供する玩具連動ARアプリ
  39. 39. Vuforia - User-Defined Images
  40. 40. ⼿書きの⽂字や図が即席で認識できる https://www.youtube.com/watch?v=Svj7bTyGWZ0
  41. 41. Vuforia - Cylinders Cylinders such as bottles, cans, cups and mugs can be recognized.
  42. 42. ドリンク⽸(円柱型)の認識 https://www.youtube.com/watch?v=LqgmlkJcqA4
  43. 43. Vuforia - Boxes Simple boxes with flat sides and sufficient visual details can be recognized.
  44. 44. 箱の全⾯で認識してAR⾃動⾞を表⽰ https://www.youtube.com/watch?v=yTh_mSVXXsE
  45. 45. ドリンクの四⾓いパック全⾯の認識 https://www.youtube.com/watch?v=gs02IS2nsxQ
  46. 46. 出典 : http://www.marketingmagazine.co.uk/article/1326265/jaguar-land-rover-uses-augmented-reality-showcase-discovery-sport 2014年12⽉11⽇ ランドローバーはショールームに実物そっくりの⾞体を来店客に⾒せることができる⾰新的な拡張現 実(AR)技術を発表した。デジタルイニシアティブは、英国内のすべての店舗で展開されるという。 ランドローバーがARを使⽤した店頭販売
  47. 47. Elements 4D Interactive Blocks https://www.youtube.com/watch?v=beodWECIzpo
  48. 48. Vuforia - Occlusion Management Vuforia detects and tracks targets, even when theyʼre partially hidden behind everyday barriers, like your hand. Special occlusion handling allows apps to display graphics as if they appear inside physical objects.
  49. 49. Vuforia - Virtual Buttons Imagine a magazine page that acts like a touch screen. With Vuforia, that is possible. Create virtual buttons that your app can see and respond to on top of image targets in the real world. https://www.youtube.com/watch?v=XQNhziVOTLI
  50. 50. Vuforia - Text Supports English word recognition from a standard database of ~100,000 words or a custom vocabulary defined by the developer.
  51. 51. セサミの Bug Birdと⼀緒に英語を学ぼう https://www.youtube.com/watch?v=zhbyTGh6pfI Big Bird's Word
  52. 52. Vuforia - Extended Tracking
  53. 53. Extended Tracking Demo https://www.youtube.com/watch?v=8RnlBEU5tkI
  54. 54. ⾶⾏機を観察して楽しむAR ANA- ヒコーキかんさつ http://www.ana.co.jp/dom/promotion/pokemon/event_ar.html
  55. 55. Vuforia - Smart Terrain
  56. 56. マクドナルド+FIFAのプロモーション https://www.youtube.com/watch?v=HVTEGz2Rf74 Qualcomm® Vuforia™ SDK featuring Smart Terrain™ and HD Camera View McDonald's GOL!
  57. 57. Vuforia - Objects https://www.youtube.com/watch?v=mXpr37pR34U
  58. 58. Digital Eyewear https://www.youtube.com/watch?v=vfCQWjI9sYc
  59. 59. Miniが⾃動⾞本体と連動するARグラスを発表 出典:http://http://development.blog.shinobi.jp/Entry/8422/ 2015年4⽉9⽇(現地時間)、MINIの⾃動⾞と連動して使⽤できる拡張現実技術が採⽤されたメガネ型の端末 "MINI Augmented Vision" を発表した。ODG製のHMDとSnapdragon そして Vuforia で構成されているSF的なメガネ。
  60. 60. Vuforia Cloud
  61. 61. OTTO Japan FABIA AR導⼊事例:カタログページを認識し新しい体験提供 カタ ログ カタログ各ページが認識対象として登録されており、詳細情報や他のスタイルを⾒る ことができる。バーチャル試着機能、静⽌画から動画を制作する機能など、盛りだく さんの総合的なアプリとなっている。 AppStore,GooglePlay “FABIA” で検索
  62. 62. ⽇刊スポーツ - ニッカンAR 新聞紙⾯を拡張するAR 新聞という紙媒体を有効活⽤。画像認識タイプのARと通知技術(PUSH)を使⽤した新 しいタイプの新聞連動総合アプリ。新聞紙⾯との連動を連載で、イベントなどの特別 動画をココだけで AppStore,GooglePlay “⽇刊スポーツAR” で検索 新聞
  63. 63. こころを動かす拡張コミュニケー ションを⾝近にするaug!(オーグ) ‣VuforiaのCloud技術を使⽤した⾼度な 認識と⾼性能な追従性 ‣認識対象から外れてもコンテンツが消 えない ‣キャッシュ機能による利便性向上 ‣撮影機能とSNSシェア機能 ‣背景透過アニメにも対応 ‣認識回数等のログ情報提供 ‣安価・短期間で導⼊可能 AppStore,GooglePlay “aug!” で検索
  64. 64. ARそのものの技術は、 シンプルに考えるとトリガーでしかない 重要なのは、 ⼈と⼈・⼈とモノ・⼈とコト・⼈と場所を 繋ぐための コミュニケーション・コンテンツ
  65. 65. 付録
  66. 66. ⾼いブランディング効果 顧客接点の継続的強化・話題性による新規顧客の獲得 アプリの拡張性 継続的運営による費⽤対効果 画像誤認識の防⽌(画像認識でクラウドタイプの場合) オリジナルアプリのメリット
  67. 67. daubタイプ:5アプリ以上(iOS/Android) POPARタイプ:6アプリ以上(iOS/Android) aug!タイプ:10アプリ以上(iOS/Android) metaio-Junaioタイプ:5アプリ以上(iOS/Android) 教育・シミュレーション系:5アプリ以上(iOS or Android) エンターテイメント系:15アプリ以上(iOS/Android) Beacon系:5アプリ以上(iOS)…デモアプリ含む ナレッジワークス/オリジナルアプリ開発実績 100アプリ以上の開発実績/100万⼈以上のダウンロード
  68. 68. オリジナル(専用)アプリの機能構成例 起動画⾯ メニュー ⾳声 検索 AR機能 Webサイト AR機能 (カメラ) Webサイト QRcode 読取り (カメラ) Webサイト PUSH (GEO/ GEO Fance) Webサイト (画像認識) pushサービスapi呼び出し Google api呼び出し Webサイト -キーワード検索 -カテゴリー検索 画像、動画、 PDFなど Webサイト バナー バナークリック コーディネー ト機能 スタンプラ リー機能 動画⾃動 ⽣成機能 【決めること】 ・どの機能を実現する? ・アプリのコンセプトは? ・アプリ名は? ・アプリデザインは? ・コンテンツはどこに配置? ・アプリケーション保守は? など PUSH (Beacon) Webサイト (⼜はアプ リ内処理) ARぬりえ 機能360度 ビュワー (ハコスコ)
  69. 69. オリジナル(専⽤)アプリ公開までの流れ 2 3 G PlG W ui W US T -‐‑‒> AA> 503G   13 13 13 e r 13DC AA> 13 e r 9 2 O T a T 13 e r 13 GG G 13 G G AA> I ((ns -‐‑‒ > I ns NbM S i gGn O 503o pGd N N Nb c O T ) D C o pG 9 O T 9 O T ※公開まで通常2〜3ヶ⽉程度
  70. 70. 初のAR記事:2009年2⽉13⽇【2009-2-26 世界初開催!AR(拡張現実)ビジネスの最前 線】 個⼈運営、現在約6千4百件以上のAR記事、世界50カ国からアクセス、多くのSNSサイトにより拡散 http://development.blog.shinobi.jp/ Blog Twitter facebook Linkedin Paper.li 付録:⻲⼭悦治について 私が関係しているサイト・SNS - twitter (@kurakura) - facebook (ekameyama) - LinkedIn (Etsuji Kameyama) - ITmediaマーケティング - SlideShare (ekame) - paper.li (kurakura/ar) - YouTube (ekame) - myspace Music (KURA KURA) - The 25 Most Tweeting About AR - flickr (KURA KURA) - Twitter most popular - AR Mind Map - AMeeT-拡張現実の紹介 - デジタルサイネージとAR - Capital newspaper 2009年より、AR(拡張現実)の普及のために、ARブログの運営、セミナーへの登壇、AR関連書籍の執筆、 AR技術を使⽤した企画・提案・開発等幅広い活動を⾏っています。現在はナレッジワークス株式会社の取締 役に就任しています。AR導⼊に関するご相談・ご質問は、kameyama@knowledge-works.co.jp ⼜は ekame@msn.comまでお気軽にどうぞ。
  71. 71. 付録:⻲⼭悦治について http://www.nts-book.co.jp/item/detail/summary/it/20140700_19.html 次世代のプロモーション手法として注目を集めるほか、医療や教育と いった他分野への幅広い活用・発展が期待されているAR〈拡張現実〉 の世界がよくわかる入門書が電子書籍で登場。ARとはカメラなどを 通して見た現実の映像にCGや位置情報といったデジタル情報を重ね て表示する技術のこと。本書はその基本的な仕組みから歴史やさまざ まな活用事例、ARを体験できるアプリの紹介、未来の可能性まで幅 広くわかりやすく解説 ---下記の執筆を担当--- 第2章 ARを体験する:代表的なアプリやサービス紹介 第3章 ARの活用例を知る:消費とAR/観光とAR/メディアとAR /ビジネスとAR/教育・医療とAR/公共空間とAR/新しいコミュニ ケーションツールとしてのAR/新しいエンターテイメントとして http://www.sogensha.co.jp/booklist.php?act=details&ISBN_5=96001 ---下記の執筆を担当--- 第3編 感覚デバイスが創る未来生活 / 第3章 コミュニケーション 1.コミュニケーション手法としての言語に関する限界 2.さまざまなコミュニケーション・ツールの出現 3.言語とコミュニケーション 4.心理療法とコミュニケーション 5.コミュニケーションボードが家庭に入り込む 6.学生生活と教育とコミュニケーション 7.家庭内ロボットの居る風景とコミュニケーション 8.遠隔でのコミュニケーション〈ワープして別の土地をリアルタイムに体験する〉 9.食/トレーサビリティとコミュニケーション 10.感覚デバイスの課題

×